存储 从 产生 至 今 ， 已 经 经 过 数 十 个 年 头 了 ， 天 下 大 势 ， 合 久 必 分 ， 分 久 必 合 。 在 虚拟 化 、 云 计算 数据 中 心 的 大 背景 下 ， 在 满 
足 了 企业 计算 高 可 用 、 网 络 高 可 用 之 后 ， 企 业 对 于 存储 的 高 可 用 、 双 活 等 的 要 求 也 就 随 之 提 上 了 议事 日 程 。 


传统 的 存储 解决 方案 要 想 实现 存储 的 双 活 ， 其 中 最 大 的 问题 就 在 于 : 对 于 用 户 来 说 ， 实 现 双 活 的 费用 太 高 了 ， 尤 其 是 对 于 用 
户 的 TCO 与 ROI 而 言 ， 更 是 如 此 。 大 家 可 以 想 一 下 ， 这 就 相当 于 你 买 了 两 台 iPhone 6 Plus 手机 ， 一 台 正 常 使 用 ， 一 台 放 着 不 用 。 


这 第 竞 不 是 豆浆 ， 价 格 低 廉 到 可 以 让 你 买 一 杯 倒 一 杯 。 


同时 ， 传 统 的 共享 存储 有 一 个 大 问题 : 支持 真正 双 活 的 存储 设备 价格 很 高 昂 ， 而 中 低 端 存储 设备 根本 无 法 实现 存储 层面 的 双 
"Cr 


可 随 着 业务 的 发 展 ， 必 然 存 在 双 活 的 要 求 。 正 是 在 这 样 的 背景 下 ， 以 Nutanix、Ceph 和 Virtual SAN 之 类 为 代表 的 存储 虚拟 化 
产品 出 现 了 ， 这 类 型 的 产品 最 大 的 卖点 就 在 于 : 


- 不 用 独立 的 Standby 存 储 设备 ; 

- 不 用 额外 的 双 活 软件 支持 : 

© 不 用 人 额外 的 兼容 性 ; 

不 用 额外 的 可 用 性 ; 

- 不 再 需要 考虑 LUN、Volume 等 的 规划 ; 
价格 低廉 ; 

- 改造 技术 成 本 低廉 ; 

` 深度 整合 数据 中 心虚 拟 化 产品 ; 


在 存储 虚拟 化 的 支持 下 ， 存 储 虚 拟 化 产品 全 面 转向 了 面向 对 象 的 服务 级 别 。 所 有 业务 的 可 用 性 、 数 据 可 靠 性 ， 都 依赖 于 面向 
对 象 的 策略 进行 工作 ， 可 以 个 性 化 地 针对 不 同业 务 级 别 定 义 不 同 的 对 象 策略 ， 实 现 不 同 的 可 用 性 级 别 和 数据 对 于 物理 硬件 的 写 入 


在 保障 计算 可 用 的 基础 上 ， 存 储 虚 拟 化 产品 同时 保障 了 数据 的 可 用 性 。 在 闪存 设备 与 HDD 设 备 的 有 机 组 合 下 ， 提 供 了 远 超 
传统 共享 存储 的 IOPS 支 持 ， 解 决 了 传统 性 能 密集 型 业务 (例如 : Oracle 数 据 库 之 类 的 业务 ) 无 法 运行 在 x86 平 台 上 的 问题 。 


在 软件 定义 存储 产品 出 现 之 前 ，x86 结 构 下 对 于 承载 OLTP (Online Transaction Processing) 或 OLAP (Online Analytical 
Processing) 之 类 的 业务 是 有 所 欠缺 的 。 因 为 x86 结 构 下 的 业务 模型 ， 导 致 了 对 计算 、I/O 窗 集 型 业务 的 承载 能 力 的 欠缺 ， 尤 其 是 
LI/[/O 密 集 型 业务 ， 比 如 Ortracle RAC 之 类 的 业务 、 医 疗 领 域 PACS 系 统 等 。 传 统 的 SAN 存 储 用 于 虚拟 化 ， 要 么 成 本 过 高 ， 要 么 无 法 匹 


配 x86 虚 拟 化 本 身 。 正 是 在 这 个 背景 之 下 ，Setrveft SAN 出 现 了 ， 其 迅速 迎合 了 这 类 业务 的 需求 。 


以 Vittual SAN 为 例 ， 它 已 经 得 到 了 国内 部 分 三 甲 医院 的 认可 ， 并 用 于 PACS 系统 ， 也 得 到 了 部 分 证 券 型 业务 的 认可 。 虽 然 现 
在 其 应 用 规模 还 不 算 太 大 ， 但 无 疑 证 明了 它 的 可 用 性 。 


第 1 音 Virtual SAN 产 品 概念 


章节 概要 

本 章 的 核心 内 容 如 下 : 
Virtual SAN 产 品 介 绍 ; 

- Virtual SAN 关 键 概念 ; 

: Virtual SAN 与 传统 存储 的 异同 ; 
: Virtual SAN 的 多 种 构建 方式 ; 
- Virtual SAN 的 兼容 性 ; 

- Virtual SAN 的 优 缺点 ; 


. Virtual SAN 与 其 他 VMware 公 司 产 品 的 结合 度 。 


VMware Virtual SAN 是 由 Hypervisor-Converged 软 件 定 义 的 分 布 式 存 储 基 础 平台 ， 它 内 置 于 VMware 公 司 的 vSphere 服 
务 器 虚拟 化 平台 ， 最 早出 现在 vSphere 5.5 Update 1 版 本 中 ， 截 止 至 2015 年 3 月 ， 最 新 版 本 为 vSphere 6.0 的 Virtual SAN 6.0, 
它 是 一 个 仓储 虚拟 化 产品 。 


Virtual SAN 又 称 VSAN ， 当 前 版 本 是 6.1， 也 是 第 3 个 生产 上 帮 布 版 本 。 它 利用 物理 服务 器 本 地 硬件 设备 资源 ， 以 类 似 分 布 式 
存储 技术 的 方式 ， 为 vSphere Cluster 中 的 所 有 ESXi Hosts 提 供 共 享 存储 服务 。Virtual SAN 创 造 性 地 利用 策略 驱动 技术 来 帮助 
vSphere 环 境 提供 最 简化 、 最 高 效 和 最 快速 的 存储 部 署 与 管理 支持 。 利 用 VM 级 别 的 存储 策略 ，Virtual SAN 支 持 上 自动化、 动态 的 
按 需 匹配 VMs 存 储 资 源 分 配 。 有 了 Virtual SAN， 针 对 存储 的 管理 、 维 护 、 扩 容 等 ， 都 将 变 得 异常 简单 。 同 时 ， 存 储 带 来 的 额外 
硬件 成 本 开销 也 变 得 更 加 低廉 。 相 对 于 传统 存储 而 言 ，Virtual SAN 的 优势 主要 体现 在 下 列 几 个 方面 : 


SARRA 

“ 低 管 理 成 本 ; 
BEEN 
管理 简单 ; 


Cm EP 


(d dE AE; 
.同城 双 活 。 


利用 位 于 物理 服务 器 本 地 的 SSD 与 HDD 磁 盘 资源 的 组 合 ， 构 成 了 Virtual SAN 节 点 的 基础 构成 单元 。Virtual SAN 5.5 作 为 第 
一 个 VMware 公司 发 布 的 存储 虚拟 化 产品 ， 仪 支持 SSD 与 HDD 的 混合 存储 组 合 的 底层 物理 硬件 构成 。 最 新 发 布 的 Virtual SAN 
6.0 和 VSAN 6.1 则 支持 全 闪存 与 渴 合 存储 两 种 结构 形 


在 混合 存储 结构 下 ，SSD 设 备 被 用 作 Cache 来 优化 读 写 性 能 ，HDD 则 用 作对 象 存 放 目 标 ， 负 责 为 存储 对 象 提供 存储 空间 和 
永久 性 数据 存放 后 。 


在 全 闪存 结构 存储 下 ， 无 论 是 Cache， 还 是 存储 空间 ， 都 由 SSD 设 备 负责 提供 。 表 1-1 所 示 是 混合 存储 在 Virtual SAN 5.5, 
Virtual SAN 6.0 中 与 全 闪存 存储 的 功能 比较 。 





gl 71 主机 的 IOPS 20K 40K 30K 


快照 深度 按 虚拟 机 数量 32 32 
kg 30 ES Sk KU 2 TB 62 TB 
1.2 Virtual SAN 关 键 概 念 


Virtual SAN 作 为 区 别 于 传统 集中 存储 的 类 分 布 式 仓储 扩 术 ， 在 基础 概念 上 ， 与 传统 仓储 的 概念 有 看 巨大 的 差异 。Virtual 
SAN 的 关键 基础 概念 如 表 1-2 所 示 。 


基础 概念 
JBOD 
Virsto 


Fault Domains 


Storage Policies 


Disk Group 


A-AA RFE na, Virtual SAN 中 最 重要 的 基础 概念 瓯 是 对 象 。 在 Virtual SAN 中 ， 对 象 涵盖 的 内 容 如 表 


1-3 所 示 。 


功能 

JBOD ( Just a Bunch Of Disks) 主要 针对 刀片 服务 器 环境 。 中 文 简称 为 简单 磁盘 捆绑 ， 
简单 地 说 就 是 一 个 非 阵 列 类 型 的 磁盘 设备 

Virsto 是 VMware 公司 收购 的 一 家 虚拟 化 存 情 设备 管理 公司 ， 其 产品 现 内 置 于 vSphere 
中 ， 为 Virtual SAN 提供 磁盘 文件 格式 支持 。 这 是 一 个 log-based 的 文件 系统 ， 针 对 虚拟 机 
快照 和 克隆 部 分 提供 了 巨大 的 改善 空间 。 在 它 的 帮助 下 ，VNirtal SAN 6.0 可 以 支持 32 个 
快照 ， 而 Virtual SAN 5.5 Nit? 个 快照 

Fault Domains 是 Virtual SAN 6.0 推出 的 新 功能 ， 利 用 它 可 以 保障 蜂 刀片 中 心 或 路 机 可 
的 Virtual SAN Cluster 故障 元 余 。 它 极 太 地 帮助 规避 了 各 种 计划 外 停机 保护 能 力 

Virtual SAN 作为 一 束 面 回 对 象 的 存储 虚拟 化 产品 ， 它 最 大 的 特点 就 是 提供 了 Virtual 
Machine 级 别 的 存储 策略 。 利 用 基于 Virtual Machine 的 第 略 级别 ， 可 以 实现 不 同 的 业务 可 
用 性 支撑 和 不 同 的 数据 构成 分 布 等 功能 。 由 于 选用 了 VM 级 别 作为 对 象 参照 物 ， 存 储 策 略 
区 别 于 传统 的 集中 存储 产品 ， 不 再 适用 全 局 性 的 存储 相关 配置 ， 取 而 代 之 的 是 个 性 化 的 存 
储 策略 匹配 ， 极 大 地 增强 了 混合 业务 模型 下 的 不 同性 能 、 容 灾 等 级 需求 

Disk Group (磁盘 组 ) 是 Virtual SAN 中 的 新 概念 ， 也 是 Virtual SAN 存储 的 核心 概念 之 

-。 它 由 SSD 5 HDD 或 者 全 办 存 构成 ， 它 是 每 各 Virtual SAN Cluster 节点 的 基础 存储 单 
元 。 利 用 Disk Group, P ORIS TAT Virtual SAN 构成 的 Datastore 进行 扩容 或 维护 


除了 对 象 之 外 ， 由 于 Virtual SAN 是 一 款 Storage Policies Based 的 存储 ， 它 以 虚拟 机 对 象 为 颗粒 度 参考 ， 因 此 可 为 不 同 的 
虚拟 机 以 及 其 对 应 的 对 象 提供 不 同 程度 的 可 用 性 级 别 ， 而 为 了 满足 可 用 性 级 别 的 工作 需求 ， 在 Virtual SAN 有 一 个 基础 概念 叫 作 
Witness。Witness 是 一 个 仅 包 含 Metadata ， 不 包含 应 用 数据 的 组 件 。 它 唯一 的 用 途 就 是 在 故障 友 生 后 ，Datastore 需 要 做 可 用 
性 调整 时 ， 充 当 可 用 性 调整 时 的 见证 用 途 。 在 Virtual SAN 1.0 文 件 系统 中 ， 它 大 约会 消耗 Metadata 2MB 的 空间 ，Virtual SAN 
2.0 中 ， 它 大 约会 消耗 Metadata 4MB 的 空间 。 


a 1-3 
基础 概念 ETE 
VM Home Namespace 存放 虚拟 机 配置 文件 ， 如 *vmx,* log. * vmdk 等 内 容 的 根 目录 
VMDK 虚拟 机 根 目 录 下 的 磁盘 相关 文件 ， 包 舍 厚 始 磁盘 和 快照 磁盘 等 
VM Swap Object HgdEL BLATT BHLIS r^ ^EBg3E1R v HE 


Snapshot Delta VMDK 为 虚拟 机 创建 快照 时 产生 的 相关 文件 


Memory Object 


运行 状态 下 ， 虚 拟 机 挂 起 后 或 内 存 快照 后 产生 的 相关 文件 


1.3 Virtual SAN 与 传统 存储 


从 概念 上 讲 ，Virtual SAN 与 传统 存储 存在 很 多 差异 ， 实 现形 式 、 对 象 处 理 、 扩 展 能 力 等 各 方面 ， 都 存在 着 差异 。 


同时 ，Virtual SAN 的 优点 也 很 多 ， 例 如 : 


: Virtual SAN 不 再 要 求 外 部 存储 ， 也 就 是 说 不 再 需要 FC、iSCSI、FCoE 之 类 的 外 部 存储 设备 。 


. 利用 本 地 存储 的 特征 ，Virtual SAN 不 再 强调 存储 设备 厂家 的 差异 。 

- Virtua SAN 是 一 款 面 向 对 象 的 存储 ， 它 不 再 有 传统 存储 的 LUN、Volumes 之 类 的 概念 。 

. 传统 的 存储 协议 ， 如 iSCSI、FCP、NES 之 类 的 都 不 再 适用 于 Virtual SAN。 

- Virtua SAN 的 部 署 只 需要 通过 vSphete Web Client 即 可 完成 ， 不 再 需要 额外 的 存储 管理 软件 。 
- Virtual SAN 帮 助 企 业 实现 了 一 体 化 的 管理 员 交 付 模 式 。 


: Virtual SAN 利 用 Storage Policies， 帮 助 VMS 在 生成 时 ， 目 动 匹 配 自 己 的 策略 ， 灵 活 地 实现 了 不 同 可 用 性 级 别 与 条 带 化 级 别 的 
交付 。 


Virtual SAN 很 好 ， 但 是 当前 它 最 大 的 局 限 就 在 于 它 只 支持 vSphere 产 品 ， 这 一 点 是 它 相 对 于 其 他 存储 产品 最 大 的 优势 ， 也 
是 最 大 的 务 势 。 所 以 Virtual SAN 不 是 万 能 的 ， 它 只 能 用 作 Virtual SAN Cluster 节 点 的 存储 用 途 ， 无 法 用 作 其 他 用 途 。 不 过 ,有 
消息 称 ， 在 后 续 的 版 本 中 会 加 入 对 第 三 方 服务 器 虚拟 化 产品 的 支持 及 推出 类 似 NAS 的 功能 ， 以 便 让 它 也 具备 传统 存储 的 文件 共 


享 功能 。 


另外 ， 软 件 定 义 类 型 的 存储 对 于 空间 的 开销 是 寞 大 的 ， 所 以 ， 如 果 要 用 它 ， 需 要 有 这 个 思想 准备 ， 也 就 是 50% 以 上 的 空间 痕 
费 比 例 。 


1.4 Virtual SAN 的 构建 方式 


针对 Virtual SAN 的 构建 ， 基 础 设备 准备 部 分 支持 以 下 3 种 模式 ,: 
: Virtual SAN Ready Nodes; 
: VMware EVO: RAIL; 


: DIY., 


1.5 Virtual SAN 产 品 的 兼容 性 


Virtual SAN 作 为 VMware 公司 自 有 的 存储 虚拟 化 产品 ， 针 对 VMware 公司 的 其 他 产品 和 功能 模 组 ， 有 着 强大 的 耦合 支持 能 
JJ. Virtual SAN 支 持 的 VMware 公 司 其 他 产品 如 下 : 


: vSphere Data Protection; 
: vSphere Replication; 
: vRealize Operations Managet; 


: vRealize Automation Center; 


. Site Recovery Manager; 
: Horizon Views 
MySphereġ 5HRS EA, Virtual SAN 与 下 列 vSphere 经 典 功能 有 着 强大 的 协同 工作 能 
: vSphere HA; 
: vSphere DRS; 
: vMotion; 
: Storage vMotion; 


: Snapshots o 


1.6 Virtual SAN 功 能 限制 


Virtual SAN 有 着 强大 的 功能 ， 但 也 有 其 自身 的 局 限 ， 励 其 是 针对 传统 的 vSphere 功 能 而 言 ， 它 不 支持 下 列 功 能 : 
- Virtual SAN 所 构成 的 Datastore 仅 适用 于 VSAN 本 身 。 
- 单 台 ESXi Host 一 次 只 能 配置 到 一 个 Virtual SAN Clustet 中 ， 无 法 复 用 。 
- Virtual SAN 不 支持 Fault Tolerance (6.0) 。 
- Virtual SAN 不 支持 DPM。 
- Virtual SAN 不 支持 Storage I/O Control; 
- Virtual SAN 不 支持 SCSI Reservation。 
Virtual SAN 不 支持 RDM。 
Virtual SAN 不 支持 传统 的 VMFS。 


- Virtual SAN 没 有 故障 诊断 辅助 分 区 。 


17 Virtual SAN 适 用 的 业务 场景 


Virtual SAN 支 持 的 融合 式 云 计算 数据 中 心 模型 如 图 1-3 所 示 。 


Tier 2/ Tier 3 Backup 和 DR 目标 HE 31 5. TR] 
Test/Dev/ WA zx 





Virtual SAN 适 用 的 场 量 包括 : 

“ 多 层 模型 的 私有 云 数据 中 心 。 
- A/A 与 B&R 数据 中 心 。 

- Horizon —4k4GBYOD X d £f 35. 
: VMSC 数 据 中 心 。 

` 统一 管理 集群 。 


其 中 ， 针 对 虚拟 桌面 的 组 合 程度 是 最 佳 的。 根据 生产 数据 显示 ，Horizon View 结 合 Virtual SAN 的 组 合 ， 轻 松 解决 了 传统 桌 
面 虚拟 化 中 面临 的 各 种 问题 ， 例 如 所 谓 的 启动 风暴 ! 1 问题 就 在 Virtual SAN 中 得 到 了 完美 的 解决 。 

在 国内 ， 桌 面 虚拟 化 与 Virtual SAN 组 合 项 目 已 经 得 到 了 用 户 的 广泛 认可 ， 堪 称 Virtual SAN 与 VMware 公司 其 他 产品 线 的 最 
佳 组 合 。 落 地 的 桌面 虚拟 化 项 目 极 好 地 证 实 了 这 一 点 。 


[1] 所 谓 局 动 风暴 ， 就 是 在 同一 时 间 大 批量 虚拟 机 同时 启动 时 市 来 的 巨大 LI/O 请 求 。 


1.8 ”本 瘟 小 结 


通过 对 本 章 的 学 习 ， 可 以 基础 性 地 了 解 VMware Virtual SAN 的 基本 形态 、 相 关 业 务 回 合 支持 、 构 建 方式 、 基 本 用 途 、 基 本 概 
念 组 件 、 兼 容 性 要 求 、 功 能 极限 等 。 


` 


充分 理解 Vittual SAN 与 vSphetre 的 基础 功能 兼容 性 、Vittual SAN 的 局 限 等 。 也 就 是 说 ， 通 过 对 本 章 的 学 习 ， 可 以 了 解 到 什么 样 


2 
的 业务 类 型 适合 运行 在 Virtual SAN 上 ， 而 什么 样 的 功能 需求 不 应 该 运行 在 Virtual SAN 平 台 上 。 


还 可 以 初步 了 解 对 传统 存储 与 Virtual SAN 之 间 的 大 体 差别 和 颗粒 度 区 分 ， 以 及 在 Virtual SAN 存 储 中 的 基础 概念 对 象 、SPBM 
策略 。 这 个 很 重要 ， 因 为 在 以 Vittual SAN 为 代表 的 存储 虚拟 化 产品 的 工作 中 ， 对 象 与 SPMB 策 略 都 将 会 贯穿 始终 。 本 章 不 要 求 理 


解 这 两 个 概念 ， 但 是 需要 建立 起 区 别 于 传统 共享 存储 的 基本 印象 ， 别 再 用 对 传统 存储 的 理解 来 理解 Virtual SAN 虚 拟 化 存储 。 


sam ”软件 定义 数据 中 心 与 Virtual SAN 


章节 概要 

本 章 的 核心 内 容 如 下 : 

. 软件 定义 数据 中 心 ; 

- 为 什么 要 SDDC; 

. SDDC 的 核心 组 件 : 

- Virtual SAN 在 SDDC 中 的 定位 。 


软件 定义 数据 中 心 (Software Defined Data Center，SDDC) 是 在 虚拟 化 领域 中 最 早 由 VMwrae 公 司 于 2014 年 初 提出 来 的 概念 。 
它 是 由 计算 虚拟 化 、 存 储 虚 拟 化 、 网 络 虚 拟人 化、 自动 化 、 一 体 化 监控 等 系列 模块 结合 在 一 起 ， 形 成 的 一 个 All-in-One 的 大 型 自动 
化 云 计算 数据 中 心 。 


根据 最 近 这 2 年 全 球 科技 发 展 动 态 来 看 ，SDDC 无 疑 是 未 来 数据 中 心 的 趋势 ， 同 时 从 提出 SDDC 概 念 的 VMware 公 司 的 各 种 动 
向 来 看 ， 无 论 是 从 VMwotld 大 会 展示 的 主题 ， 还 是 从 VMwate 公 司 的 产品 构成 等 多 个 方面 的 综合 ， 都 表明 了 它 的 未 来 发 展 趋势 。 


目前 ，VIMware 公 司 应 该 说 是 为 数 不 多 的 能 够 用 自己 一 家 的 产品 实现 一 个 完整 的 软件 定义 数据 中 心 的 公司 。 


为 什么 需要 软件 定义 数据 中 心 ? 业务 系统 越 来 越 多 ，x86 设 施 越 来 越 复杂 ， 企 业 针 对 系统 、 数 据 、 安 全 、 响 应 速度 等 方面 的 
需求 越 来 越 高 ， 企 业 数 据 中 心 已 经 发 展 到 需要 一 个 强大 的 、 具 备 创 新 性 的 产品 架构 出 现 ， 而 SDDC 很 明显 满足 这 个 条 件 。 


软件 定义 数据 中 心 给 客户 带 来 的 优势 主要 有 下 面 几 个 方面 : 
` 为 用 户 交 付 统一 的 平台 ; 

实现 融合 式 业 务 与 办 公交 付 ; 

` 强大 的 安全 性 与 控制 能 力 ; 

- 大 幅度 缩减 企业 新 业务 上 线 的 时 间 。 

- 可 以 轻松 实现 Public Cloud 5 Hybrid Cloud 接 口 。 


软件 定义 数据 中 心 的 结构 如 图 2-1 所 示 。 





2.4 VMware 软件 定义 数据 中 心 产品 清音 


归纳 起 来 ，VMware 公 司 的 软件 定义 数据 中 心 产品 如 下 : 
”VSphete ; 

: VSAN; 

NSX; 

: vRealize Automation Center; 

: vRealize Operations Manager; 


: Horizons 


从 最 基础 的 构成 来 看 ， 上 述 产 品 中 ， 最 基础 、 最 核心 的 产品 是 前 5 个。 接 下 来 将 介绍 前 2 个 产品 的 结构 和 特征 。 


2.2 ”软件 定义 数据 中 心 之 软件 定义 仔 储 


从 软件 定义 数据 中 心 的 字面 意思 束 可 以 看 出 ， 这 要 求 用 纯 软件 来 实现 。 而 一 个 数据 中 心 涉及 的 主要 组 件 就 是 计算 部 分 、 网 络 
部 分 、 和 存储 部 分 、 安 全 部 分 等 。 要 实现 软件 定义 数据 中 心 就 必须 存在 软件 定义 存储 。 


只 有 利用 软件 定义 存储 ， 才 可 以 灵活 实现 高 性 能 、 高 弹性 、 硬 件 无 关 和 分 布 式 等 软件 定义 数据 中 心 需要 的 基本 特征 ， 从 而 将 


所 有 的 存储 对 象 软件 化 ， 按 需 实 现 不 同 SLAsL 的 业务 等 级 交付 。 


当前 ， 





JJ UA : 
: 从 OpenStack 项 目 衍生 出 来 的 Ceph 分 布 式 存储 项 目 ; 

: Swift 存储 ; 

- Virtual SAN; 

: VVoLS; 

: Datacore ; 


: Storage Virtual VSA o 


利用 这 些 产 品 ， 都 可 以 构建 一 个 对 象 存 储 ， 而 且 都 可 以 实现 软 硬 件 分 离 的 软件 定义 存储 的 基础 特征 。 但 是 构建 一 个 SDDC 并 
不 是 说 实现 了 软 硬 分 离 之 后 ， 束 可 以 了 。 还 有 很 多 问题 需要 考量 ， 尤 其 是 不 同 产 品 组 件 之 间 的 配合 选 型 问题 


[1] SLA 是 Service Level Agreement 的 缩写 ， 表 示 服 务 等 级 的 意思 ， 通 常用 来 形容 业务 可 靠 性 或 可 用 性 级 别 。 


2.3 ”为 软件 定义 数据 中 心 准备 Virtual SAN 

为 软件 定义 数据 中 心 准备 Virtual SAN 这 个 软件 定义 仓储 在 第 3 章 会 详细 阐述 。 这 里 只 是 简单 说 明 。 准 备 Virtual SAN 的 基础 
要 求 如 下 : 

. 3 台 以 上 的 x86 服 务 器 ; 

. 3 块 以 上 闪存 设备 ; 

. 3 块 以 上 HDD 设 备 ; 

- 3E Virtual SAN 的 I/O Controller; 

“ 最 小 千 光 网 络 ， 最 佳 万 兆 网 络 ; 


: vSphere 6.0 服 务 器 虚拟 化 。 
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关于 软件 定义 数据 中 心 的 概念 ， 本 章 并 没有 从 完整 技术 层面 完善 每 一 个 组 件 的 功能 、 用 户 描述 和 初始 化 配置 。 毕 竞 ， 如 何 构 
建 一 个 企业 软件 定义 数据 中 心 不 在 本 书 的 范畴 。 


本 章 的 主要 内 容 是 软件 定义 数据 中 心 的 存在 方式 、 组 件 构 成 和 SDS 在 SSDC 中 的 定位 。 


本 章 阅 述 了 SDC、SDS、SDN、Automation、vROPS 以 及 Horizon 在 SDDC 中 的 用 途 ， 也 为 笔者 计划 后 续 出 版 书籍 《利用 


VMware 产 品 实战 构建 企业 级 SDDC》 开 个 小 关 ， 让 读者 对 SDDC 的 大 概念 构成 和 用 途 有 一 个 前 导 性 的 了 解 。 


本 章 也 重点 阐述 了 VMwate SDS 产 品 中 VVoLS 和 Virtual SAN 的 技术 特征 和 部 分 技术 细则 ， 尤 其 详细 介绍 了 VVoLS。 而 对 于 
Virtual SAN 本 书 就 是 围绕 它 展 开 的 ， 所 以 本 章 除 了 它 的 基础 结构 外 ， 其 他 都 是 泛泛 而 谈 ， 更 多 详细 内 容 ， 请 看 后 面 的 章节 。 


第 3 草 Virtual SAN 配 置 要 求 


章节 概要 

本 章 的 核心 内 容 如 下 : 

- 配置 Virtual SAN 的 硬件 清单 ; 
- BG € Virtual SAN 的 软件 清单 ; 


. Virtual SAN 对 于 License 的 要 求 。 


3.1 Virtual SAN 硬件 配置 要 求 


Virtual SAN 的 硬件 配置 最 佳 选择 自然 是 参考 VMware Compatibility Guide (参考 附录 ) 。 具 体 而 言 ， 还 是 要 从 以 下 5 个 层 
AKENE: 


ETC; 
“CPU; 

: Memory; 

: NIC; 

` 启动 设备 。 


这 几 个 方面 与 Virtual SAN 的 要 求 如 表 3-1 所 示 。 


组 件 功能 详 述 
存储 部 分 主要 考量 3 个 方面 的 因素 ， 分 别 是 
e Cache， 针 对 Cache 部 分 ， 支 持 PCIe SSD 之 类 的 闪存 设备 ， 至 少 10% 的 闪存 空间 预 留 。 
Cache 部 分 不 要 进行 格式 化 处 理 
e 虚拟 机 数据 空间 ， 在 混合 存储 结构 下 ， 至 少 需要 块 HDD ; 全 内 存 结构 下 ， 则 至 少 需 
块 PCIe 或 SSD 用 于 存放 空间 
e 存储 控制 器 ， 要 求 仅 支 持 RAIDO 或 Passthrough 的 HBA 设备 ， 不 支持 其 他 阵列 类 型 
CPU Virtual SAN 部 分 的 资源 开销 不 要 超过 每 台 主 机 的 1096 
配置 Virtual SAN 单 台 主机 节点 最 少 要 求 6GB 内 存 ， 而 如 果 需 要 完整 的 Virtual SAN 功能 组 件 


存储 设备 


Memory 
支持 ， 则 最 少 需 要 32GB AFR 
最 低 要 求 1Gbit/s 的 网 络 设备 ， 最 佳 要 求 10Gbits 网 络 设备 。 其 中 全 闪存 结构 下 仅 支 持 


10Gbit/s 的 网 络 了 
从 系统 架构 而 言 ，ESXi Host 启动 设备 建议 单独 选用 USB、SD 卡 之 类 的 设备 ， 以 便 区 分 开 
启动 设备 | Virtual SAN 存储 部 分 ， 空 间 部 分 最 小 建议 4GB 以 上 。 如 果 ESXi Host 的 内 存 超过 512GB, W 
这 里 的 启动 设备 空间 要 求 16GB 以 上 ， 最 好 是 32GB 标 配 最 合适 


3.2 Virtual SAN 软 件 配置 要 求 


Virtual SAN 内 置 于 vSphere 中 ， 仅 支持 vSphere 5.5 Update 1 以 上 的 版 本 。 如 果 想 要 用 到 本 书 描述 的 全 部 Virtual SAN 功 能 
组 件 或 全 闪存 存储 结构 ， 则 需要 ESXi Host 全 部 为 vSphere 6.0+。 混 合 vSphere 5.5 Update 1+ 与 VSphere 6.0 构 成 的 Virtual 
SAN Cluster 世 点 ， 则 只 能 选用 1.0 版 本 的 Virtual SAN 文 件 系 统 版 本 (VMFS-L) ，2.0 版 本 (基于 Virsto 构 建 的 VSAN 文 件 系 
统 ) 的 文件 系统 只 能 是 纯 vSphere 6.0+Virtual SAN Cluster 节 点 。 


归纳 起 来 ，Virtual SAN 目 前 支持 的 vSphere 版 本 如 下 : 
: vSphere 5.5 Update 1 
: vSphere 5.5 Update 2 
- vSphere 6.0 
- vSphere 6.0 Update 1 
- vSphere 6.1 
以 及 相关 的 vSphere 小 版 本 ， 如 1a、1b、2a、2b 等 。 


多 人 比较 天 心 Virtual SAN 是 人 否 可 以 叉 持 VMware 公司 以 外 的 产品 ， 如 KVM、Hyper-V 或 XenServer 之 类 的 。 答 案 是 人 否定 
的 ，Virtual SAN 的 出 现 并 不 是 以 独立 软件 的 形式 存在 ， 它 其 实 是 内 置 于 vSphere 操 作 系 统 中 。 将 vSphere 5.5 Update 1+ 操 作 
系统 安 洲 到 物理 服务 器 后 ， 并 不 需要 额外 安 六 什么 软件 ， 只 需要 安 沪 这 个 vSphere 操 作 系统 的 物理 服务 器 满足 Virtual SAN 的 
VCG， 且 环境 满足 Virtual SAN Cluster 的 最 小 节点 数 要 求 ， 即 可 随时 拥有 Virtual SAN 存 储 虚 拟 化 环境 。 


如 前 文 所 述 ， 这 是 它 最 大 的 优势 。 因 为 在 x86 虚 拟 化 领域 ,VMware 公司 的 vSphere 产 品 是 当之无愧 的 NO.1， 而 VMware 公 
司 高 达 450 亿 美金 的 市 值 ，70% 以 上 都 是 靠 这 个 vSphere 产 品 。 很 多 人 说 Virtual SAN 被 局 限 在 了 VMware 产 品 线 里 ， 这 是 它 最 大 


的 务 势 ， 其 实在 笔者 看 来 ， 这 正好 是 VMware 最 聪明 的 地 方 : 想象 一 下 ， 如 果 VMware 公 司 的 全 球 vSphere 客 尸 群 里 有 1/3 的 客 
尸 选择 在 现 有 的 环境 基础 上 改造 Virtual SAN 实 现存 储 虚 拟 化 ， 那 么 ，VMware 公 司 的 僵 利 回报 绝对 是 巨大 的 。 当 然 ， 有 消息 

称 ， 未 来 不 排除 会 有 第 三 方 虚 拟 化 产品 的 兼容 又 持 ， 但 是 ， 笔 者 认为 这 样 做 的 意义 并 不 大 ， 也 许 只 会 在 招 投标 参数 上 有 上 所 体现 
吧 。 


也 有 人 提 到 Nutanix 这 样 的 Server SAN 竞 争 对 手 。 从 成 本 、 空 间 、 利 旧 、 工 作 效 率 和 运营 工作 人 员 知 识 储备 等 多 个 角度 
ÆA, Virtual SAN 的 优势 都 是 异常 明显 的 。Nutanix 之 类 的 产品 虽然 兼容 多 球 Hypervisor， 但 是 它 是 一 个 硬件 产品 ， 需 要 打包 购 
买 。 另 外 ， 它 有 自己 的 OS 存在 ， 再 加 上 它 的 Metadata 处 理 机 选用 的 是 开源 产品 ， 从 复杂 度 和 稳定 度 上 看 ， 都 有 一 定 的 风险 。 
此 ， 综 合 而 论 ， 虽 然 不 是 说 Nutanix 不 好 ， 但 是 Virtual SAN 在 VMware 软 件 定义 数据 中 心 领 域 的 优势 也 是 显而易见 的 。 


3.3 Virtual SAN License 的 要 求 


Virtual SAN 需 要 单独 的 License， 与 vSphere 的 License 并 不 是 同一 个 ， 综 合 起 来 ， 在 vSphere+VSAN 的 平台 环境 中 ， 需 要 
的 License 就 包括 了 三 大 类 ， 分 别 是 : 


: VSphere 服 务 器 虚拟 化 所 需 的 License 
. vCenter Servet 管 理 平台 所 需 的 License 
- Virtual SAN 自 身 所 需 的 License 
对 于 Virtual SAN 自 身 而 言 ， 它 的 License 也 分 为 两 大 类 型 ， 分 别 是 : 
- 用 于 混合 存储 环境 
. 用 于 全 闪存 环境 


它 的 license 也 是 依据 CPU 数量 来 销售 的 。 具 体 销 售 方式 与 价格 ， 请 联系 VMware 相关 代理 商 获 取 ，VMware 代 理 商 列表 可 
从 http://www.vmware.com/cn/partners/north.html 查 询 。 
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通过 本 章 的 学 习 ， 相 信 读 者 初步 了 解 了 配置 Vittual SAN 在 硬件 、 软 件 和 Licehse 方 面 的 要 求 。 本 章 的 着 力 点 就 在 于 向 读者 说 
Lu 


8], WRF 2] Virtual SAN 或 者 想 要 为 生产 环境 构建 一 个 Vittual SAN 存 储 虚 拟 化 是 多 么 的 简单 。 


一 个 新 的 产品 要 想 普 及 ， 最 难 的 就 在 于 它 可 能 会 以 毁灭 性 的 方式 摧毁 现 有 的 业务 平台 ， 比 如 ， 要 求购 买 一 套 全 新 设备 、 软 件 
或 要 求人 员 重 新 进行 知识 储备 。 这 样 的 新 技术 要 普及 起 来 就 很 困难 。 而 Vittual SAN 最 大 的 好 处 就 是 不 需要 过 多 地 改动 现 有 基础 设 
施 或 新 购 设 备 ， 就 可 以 轻松 改造 现 有 业务 环境 的 Vittual SAN 存 储 虚 拟 化 。 这 一 点 是 非常 难得 的 ， 也 是 笔者 认为 Virtual SAN 最 可 取 
的 一 个 切入 点 。 只 有 和 和风细雨 般 地 改造 才 有 可 能 得 到 更 大 的 成 功 可 能 性 ， 如 果 一 开始 就 摆 出 破坏 式 的 姿态 ， 那 么 ,企业 的 抗拒 性 
就 显而易见 了 。 在 这 一 点 上 ，Virtual SAN 的 优势 是 独一无二 的 。 即 使 是 知名 的 Nutanix 在 这 点 上 也 比 不 上 Virtual SAN, Ep je E S 
需要 您 花 掉 9 万 美金 之 后 ， 才 有 可 能 得 到 它 最 基础 的 体验 。 


有 人 可 能 会 说 Vittual SANT JL 6 mw, 3X AM IEIRUECRGE UE Y s iX Y XU Ahe S] B] SCARE MU ACTES 7^ ue I 
AR. YANutanix2g 4X fj Server SAN 厂 家 的 确 支 持 几 乎 所 有 的 x86 虚 拟 化 产品 ， 但 是 它 是 以 牺牲 性 能 为 代价 的 。 它 们 通过 内 置 控 制 
软件 的 方式 来 实现 这 个 支持 功能 ， 也 就 是 说 ， 它 们 的 产品 架构 至 少 是 三 层 : 硬件 一 厂商 控制 软件 一 虚拟 化 产品 ，Virtual SAN 是 二 
层 结构 : 硬件 一 vSphere 虚 拟 化 。 


另外 ，Virtual SAN 的 技术 切入 成 本 低 到 只 需要 参加 虚拟 人 的 “Virtual SAN 入 门 到 精通 ”的 培训 ， 再 结合 本 书 就 可 以 轻松 完成 
技术 准备 工作 。 


第 4 音 Virtual SAN Cluster 构 建 准 备 工作 


章节 概要 

本 章 的 核心 内 容 如 下 : 

- Virtual SAN 构 建 的 主机 层面 要 求 ; 

- Virtual SAN 与 存储 组 件 相 关 的 信息 

- All Flash 与 Hybrid 结构 下 的 存储 组 件 相 关 异 同 ; 
: Virtual SAN 对 于 虚拟 交换 机 的 支持 ; 

- NIC Teaming 策 略 与 Vittual SAN 的 结合 

- Fault Domain 的 功能 与 好 处 ; 

- Virtual SAN 的 日 志 问 题 。 


构建 Vittual SAN Clustet 的 准备 工作 主要 从 硬件 与 软件 这 两 个 大 的 层面 来 考量 。 上 有 具体 下 来 ， 针 对 硬件 部 分 和 软件 部 分 自然 又 有 
所 不 同 。 


硬件 层面 主要 是 三 大 块 : 
- 存储 设备 相关 ， 
网 络 设备 相关 ; 
“ 主机 设备 相关 。 
个 部 分 相对 于 第 2 章 所 描述 的 是 更 进一步 细 化 的 内 容 。 


除了 软件 版 本 、License 部 分 之 外 ， 软 件 层 面 的 考量 则 相对 复杂 一 些 ， 主 要 从 Virtual SAN 本 身 的 特性 展开 ， 核 心包 含 以 下 多 个 
方面 的 多 个 层面 : 


存储 层面 相关 ，; 


- Virtual SAN Clusterd8 X ; 
- Fault Domains 容错 模块 ; 


- Virtual SAN H ;& 48 X 


4.1 Virtual SAN 和 存储 组 件 


在 构建 Virtual SAN 之 前 ， 有 一 个 很 重要 的 考量 丈 是 关于 存储 设备 部 分 的 ， 因 为 ， 存 储 设备 的 构成 以 及 物理 磁盘 设备 的 数 
量 、 空 间 大 小 会 直接 影响 Virtual SAN Datastore 中 的 对 象 数目 。 在 Virtual SAN 6.0 中 ， 单 台 主 机 文 持 的 最 大 对 象 数目 为 9000， 
而 单个 对 象 的 最 大 容量 为 255GB (SWAP 文件 除外 ， 它 可 以 到 256GB) ， 超 过 之 后 ， 系 统 将 会 对 其 执行 自动 切割 。 因 此 ， 如 果 物 
理 设备 数量 不 够 ， 束 会 产生 各 种 莫名 其 妙 的 问题 。 


s, 


同时 ， 容 错 级 别 、 条 市 数目 等 ， 都 会 导 怪 对 象 数 量 的 倍增 。 所 以 ， 在 设计 存储 的 物理 设备 资源 时 ， 需 要 充分 结合 这 一 部 分 | 
述 的 关联 因素 去 准备 物理 设备 数量 。 


he 


如 果 Tolerate 为 默认 值 1， 则 虚拟 机 相关 对 象 可 用 物理 资源 为 50%， 如 果 Tolerate 值 为 2， 则 可 用 资源 就 只 有 33%， 如 果 
Tolerate 值 为 最 大 值 3， 则 可 用 物理 资源 只 有 25%。 


这 里 的 详细 计算 逻辑 ， 将 会 在 下 一 本 书 中 进一步 前 述 。 


另外 ， 根 据 Virtual SAN Datastore 的 不 同 版 本 ， 构 建 Virtual SAN Datastore 文 件 系统 对 于 每 一 块 磁盘 带 来 的 Metadata 开 
销 的 不 同 为 : v1.0 开 销 为 每 设备 1GB，v2.0 开 销 为 每 设备 容量 的 1%。 


同时 ， 由 于 vsanDatastore 是 由 Disk Groups 构 成 的 ， 因 此 ， 在 考虑 仓储 层面 时 ，Disk Groups 的 数量 、SSD 与 HDD 的 比例 
这 些 也 是 需要 考虑 的 。 当 然 ， 具 体内 容 还 是 会 放 到 下 本 书 中 再 进行 细 化 。 


4.2 Virtual SAN Cluster 配置 要 求 


Virtual SAN 6.0 Cluster 最 大 支持 64 个 节点 ， 也 就 是 最 多 支持 64 台 主机 构成 一 个 Virtual SAN Cluster。 最 小 则 要 求 至 少 3 个 
节点 。 这 里 的 3 个 节点 的 来 源 是 什么 呢 ? 





核心 参数 就 一 个 最 小 容 灾 数量 Tolerate (FTT) , Virtual SAN Cluster 最 小 Tolerate 默 认为 1， 因 此 ， 在 Virtual SAN 
Cluster 初 始 化 构建 完成 之 后 ， 默 认 最 小 Replica 为 2， 在 3 个 节点 状态 下 的 Virtual SAN Cluster， 人 允许 每 份 数据 拥有 2 个 Replicas 
和 1 份 Witness， 且 分 布 在 3 个 主机 节点 上 。 由 此 得 出 了 一 个 推论 公式 : 假定 Tolerate 为 n， 则 对 应 的 Virtual SAN Cluster 节 点 数 


要 求 为 2n+1， 当 n 为 1 时 ， 以 2n+1 的 计算 法 则 应 该 为 2x1+1=3， 因 此 ， 此 时 的 主机 数 要 求 为 3， 以 此 类 推 ， 如 表 4-4 所 示 。 


表 4-4 





l 3 


7 


' Ah 


3 7 


综合 考虑 ，Virtual SAN 6.0 的 最 大 Tolerates 为 3， 也 就 是 n 的 最 大 值 为 3， 所 以 ， 在 Virtual SAN Cluster 中， 最 大 人 允许 每 个 
对 象 拥有 4 份 Replicas 与 3 份 Witness (Home Namespace 除 外 ， 它 只 能 有 1 份 Replica 和 1 份 Witness) ， 如 图 4-3 所 示 。 
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由 于 3 节点 状态 下 ， 任 意 节点 故障 都 会 导 臻 Virtual SAN 无 法 重建 相关 组 件 或 无 法 部 署 新 的 VM ， 也 就 会 导致 VM 无 法 被 保 
护 ， 因 此 ， 在 生产 中 ， 最 佳 的 Virtual SAN Cluster 最 小 节点 数 为 4， 见 图 4-3。 


因为 Virtual SAN 可 以 完美 地 结合 vSphere HA 组 件 ， 所 以 在 准备 Virtual SAN 初 始 环境 时 ， 还 需要 考虑 Virtual SAN 与 
vSphere HA Cluster 的 结合 。 当 vSphere HA 友 生 时 ， 故 障 主机 上 的 相关 计算 负载 会 自动 在 Cluster 中 的 其 他 主机 上 重新 启动 。 
vSphere HA 自身 通过 准 入 控制 策略 来 完成 计算 资源 (CPU, Memory) 的 预 留 ， 以 便 满足 故障 发 生 时 的 计算 资源 预 留 。 


与 想象 的 场景 不 同 ，Virtual SAN 不 会 与 vSphere HA 之 间 发 生 交 互 行为 。 因 此 ， 它 也 就 无 法 通过 vSphere HA 来 检查 或 者 确 
认 Cluster 中 的 主机 是 否 存在 足够 的 磁盘 空间 。 实 质 上 ， 上 默认 状态 下 系统 会 在 主机 故障 后 每 隔 60 分 钟 尝试 确认 主机 是 否 存 在 足够 
的 存储 空间 。 


注意 事项 : 


: BG E Virtual SAN 之 前 ， 请 先 关 闭 vSphere HA Cluster, 


: vSphere HA 不 会 选用 Virtual SAN Datastote 作 为 心跳 存储 。 


: vSphere HA 必须 用 Virtual SAN 网 络 进行 通信 。 


VSphere HA 在 激活 Virtual SAN 的 环境 下 不 用 Management Netwotk 做 心跳 。 


- 隔离 响应 地 址 无 法 ping 通 。 


. 在 3 节点 状态 下 ， 当 vCenter Server #3) Virtual SAN Datastote 时 ， 或 Vittual SAN Clustet 故 障 时 ， 将 无 法 使 用 它 进 行 排 错 ， 


需要 借助 其 他 故障 排查 工具 。 


433 Virtual SAN 网 络 配置 要 求 


4.3.1 Virtual SAN-E2vSwitch 


vSpherexzisvSphere Standard Switch 和 vSphere Distributed Switch 两 种 类 型 的 虚拟 交换 机 。 无 论 是 哪 一 种 ， 我 们 都 将 


它 简 称 为 vSwitch， 其 中 vSphere Standard Switch 简称 为 VS39，vSphere Distributed Switch 简称 为 vVDq9。 


作为 内 置 于 ESXi Host 中 的 Virtual SAN ， 也 文 持 vSphere Standard Switch 和 vSphere Distributed Switch。 从 基础 功能 和 
性 能 的 角度 上 看 ， 无 论 是 vSphere Standard Switch， 还 是 vsphere Distributed Switch ， 两 者 运行 Virtual SAN 环 境 得 到 的 结 


果 都 仔 企 差异 ， 但 如 果 不 做 特别 设 定 ， 其 实 两 者 差别 不 会 大大， 万 其 是 企 10Gbitys 的 物理 网 络 环境 下 更 是 如 此 。 


那么 ， 运 行 在 vSphere Distributed Switch 上 的 Virtual SAN 环 境 究竟 存在 哪 方 面 的 优势 ?是否 有 必要 为 Virtual SAN 环 境 配 


置 使 用 vSphere Distributed Switch? 


答案 是 肯定 的 。 没 错 ， 虽 然 从 基本 组 件 功能 角度 上 看 ,，vSphere Distributed Switch 和 vSphere Standard Switch 差别 不 太 
大 。 但 是 ， 由 于 vSphere Distributed Switch 多 了 很 多 新 功能 组 件 ( 见 图 4-4) ， 所 以 ， 在 vSphere Distributed Switch 工作 模 
式 下 ， 可 以 针对 Virtual SAN 提 供 更 加 精细 的 管理 支持 。 其 中 最 典型 的 束 是 Network MO Control 功 能 。vSphere Distributed 
Switch 提供 了 一 个 名 叫 NIOC 的 功能 ， 它 可 以 区 分 不 同 的 Traffic， 然 后 保障 Virtual SAN 的 网 络 优先 级 ， 在 10Gbit/s 环 境 下 ， 这 


个 需求 尤其 有 意思 。 


Treffic Type ia Shares 

Fault Tolerance (FT) Trafic Normal 
Management Traffic Mürmal 
MFS Traffic Normal 
Virtual Machine Traffic High 

Virtual SAM Traffic Custom 
Cal Traffic Normal 


"Motion Trafic Normal 


vophere Data Protection Backup Trafic Mormal 


vapnere Replication [vr Traffic Mürmal 





Shares Value 


4-4 


0 Mbit's 
0 Mbit s 
0 Mbit/s 
0 Mbits 
D Mbits 
0 Mbit's 
D Mhit's 
0 Mbsts 
0 Mbit's 


Unlimited 
Unlimited 
Unlimited 
Unlimited 
Unlimited 
Unlimited 
Unlimited 
Unlimited 
Unlimited 


vSphere Distributed Switch 支持 针对 图 4-4 所 示 功 能 做 精细 化 的 Share 值 划分 ， 包 括 : 
: Fault Tolerance Traffic ; 
: Management Traffic ; 
: NFS Traffic; 
: Virtual Machine Traffic ; 
: Virtual SAN Traffic; 
: iSCSI Traffic; 
: vMotion Traffic; 
: vSphere Data Protection Backup Traffic ; 


: vSphere Replication (VR) Traffico 


精细 化 NIOC 后 ， 可 以 看 到 类 似 图 4-5 所 示 的 结果 。 








| 









| Management | Virtual M achine S 
L EN. 00 shares - L l50shares — — | 500 shares E 
| Distributed Switch [ 
图 4-5 


结合 vSphere Distributed Switch 的 NIOC 功 能 就 可 以 轻松 保障 Virtual SAN 网 络 链 路 要 求 。 这 一 点 ， 很 明显 vSphere 
standard Switch 是 实现 不 了 的 。 


另外 ， 针 对 vSphere Distributed Switch， 还 有 一 个 LAG 功 能 与 Load Balancing 模 式 的 配置 可 供 选 择 。 


44 Virtual SAN Fault Domain 配 置 要 求 


Fault Domain 是 Virtual SAN 6.0 中 的 新 功能 ， 它 存在 的 最 大 价值 束 是 规避 同一 个 刀片 中 心 或 同一 个 机 架设 备 出 现 意 外 事故 
时 的 容 灾 级 别 无 法 保障 的 问题 。 总 体 来 说 ， 它 与 Virtual SAN 最 低 主 机 节点 数 的 要 求 一 样 ， 它 要 求 最 少 3 个 Fault Domains， 每 个 
Fault Domains 中 最 少 要 有 1 人 台 ESXi Hosts， 和 主机 最 小 数量 要 求 一 样 ， 在 条 件 许可 的 情况 下 ， 最 好 是 4 个 Fault Domains, 理由 
和 主机 最 小 要 求 数量 一 样 。 


激活 Fault Domain 之 后 ，VM 的 Storage Policies 会 参考 Fault Domains 的 设 定 选 择 Replicas 与 Witness 的 位 置 。Fault 
Domain 的 Tolerate 数 目 与 Fault Domain 的 关系 如 表 4-6 所 示 ， 如 果 Tolerate 为 1， 则 依然 是 2n+1 的 关系 。 


表 4-6 
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未 配置 Fault Domains 有 前 ，8 节 点 的 Virtual SAN Cluster 模 型 的 Replicas 与 Witness 示 意图 如 图 4-8 所 示 。 


配置 Fault Domains 后 ，8 节 点 Virtual SAN Cluster 模 型 的 Replicas 与 Witness 示 意图 如 图 4-9 所 示 ， 将 被 分 成 4 个 Fault 


Domains, 


由 图 4-9 可 以 看 到 ， 在 激活 Fault Domains 的 8 节点 环境 中 ，Replicas、Witness 分 布 到 了 不 同 的 FD 中 ， 这 样 极 大 程度 上 规避 
了 同一 个 刀片 中 心 或 机 架 意 外 故障 导致 的 Virtual SAN Cluster 骨 省 问 题 。 
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Fault Domian 3 


Fault Domian 4 








按照 标准 结构 做 出 来 的 Virtual SAN Cluster 是 没有 地 方 存 放 日 志 信息 的 ， 鉴 于 此 ， 需 要 选择 下 面 任意 一 种 方案 作为 日 志和 存 


放 位 置 。 


` 单独 准备 一 个 共享 存储 作为 日 志 存 放空 间 。 


: 配置 ESXi Dump Collector} Syslog Collectot 来 执行 ESXi Host 的 内 存 与 系统 日 志 收 集 。 


选项 的 配置 理由 很 简单 ， 前 面 襄 过 了 ， 因 为 Virtual SAN Cluster 输 出 的 Datastore 不 会 用 于 存放 日 志 ， 而 SD 卡 /USB 局 
动 的 系统 也 没有 介质 存放 日 志 记 录 ， 所 以 才 需 要 做 这 样 的 额外 安排 。 


46 ”本 童 小 结 


工 欲 善 其 事 ， 必 先 利 其 器 。 只 有 在 充分 完成 构建 一 个 新 环境 的 准备 工作 之 后 ， 才 能 够 在 构建 、 配 置 和 使 用 的 过 程 中 得 心 应 


7v fu 


本 章 从 下 列 几 个 角度 阐述 了 构建 Virtual SAN Cluster 的 相关 注意 项 和 关联 注意 事项 : 
“ 存储 设备 相关 ， 
网 络 设备 相关 ; 
“ 主机 设备 相关 。 


针对 存储 部 分 ， 重 点 阅 述 了 闪存 设备 和 HDD 设 备 的 用 途 、 要 求 以 及 支持 情况 。 针 对 网 络 部 分 ， 则 详细 介绍 了 vSwitch、Jumbo 


Frames 和 Netwotk NIC Teaming 负 载 均 衡 等 方面 的 细节 、 兼 容 性 。 


不 介绍 了 Virtual SAN 6.0 中 Fault Domain 这 个 新 功能 的 情况 。 综 合 这 几 个 方面 的 因素 ， 组 合 起 来 就 形成 了 构建 Virtual SAN 


Clustet 必 需 的 相关 组 件 要 求 和 前 提 条 件 。 


第 5 草 ”构建 一 个 全 新 的 Virtual SAN Cluster 


章 万 概要 
本 章 的 核心 内 容 如 下 : 
- BG X Virtual SAN 所 需 的 软件 准备 ; 
“ 如 何 从 零 开 始 部 署 vSphere 主 机 ; 
如 何 从 堆 开 始 部 署 vCentet 管 理 平台 的 SLES 版 本 ; 
- 在 实验 环境 中 的 Virtual SAN 准 备 工作 ; 
如 何 为 Virtual SAN 准 备 网 络 所 需 环境 ; 
: 如 何 创 建 Virtual SAN Cluster; 


: Disk Groups 构 建 时 Manual 和 Auto-matic 的 差异 。 


鉴于 Virtual SAN 学 习 环 境 的 成 本 问题 ， 本 书 的 Vittual SAN Cluster] && $ A 26 45 A UE 2/28 3 R 6 Virtual SAN Clustet 环 境 的 
准备 工作 。 标 准 的 Vittual SAN 结 构 形 态 如 图 5-1 所 示 ， 将 所 有 节点 的 本 地 存储 集中 起 来 ， 通 过 高 速 网 络 形成 共享 存储 输出 。 


VM VM VM 





VM VM VM VM VM 





Virtual SAN Datastore 


图 5-1 


5.1 ”软件 准备 


构建 Virtual SAN Cluster 需 要 下 列 软件 : 
: VvCenter Server 6.0 
: ESXi Server 6.0 


- VMware Workstation 11/VMware Fusion 7.1.1 (可 选 ) 


介质 下 载 登 录 地 址 如 下 : 


https:;//my.vmware.com/web/vmware/info/slug/datacenter cloud infrastructure/vmware vsphere/6 0 


下 载 实验 环境 所 需 的 vCenter Server 6.0 ISOSESXi 6.0 1SO ， 如 图 5-2 所 示 。 


VMware ESXi 6.0.0 2015-03-12 Goto Downloads 


VMware vCenter Server 6.0.0 2015-03-12 Go to Downloads 





下 载 完 成 之 后 ， 可 以 看 到 如 图 5-3 所 示 界 面 。 


VMware-VMvisor-Installer-b6,. 0, 0-2494585. x86 64. iso 


à VMware-VCSA-al 1-6. 0, 0-2562643. iso 





图 5-3 
本 书 针 对 vCenter Server 6.0 的 准备 会 选用 VCSA 6.0， 如 图 5-3 所 示 。 


针对 VMware Workstation 和 VMware Fusion 的 下 载 ， 自 己 百度 一 下 即 可 找到 相应 资源 。 


5.2 Virtual SAN Cluster 主 机 节点 准备 


部 署 4 台 骨 套 的 ESXi 6.0.0 主 机 和 VCSA 6.0，vSphere 计 算 虚 拟 化 的 安装 部 分 请 直接 查看 虚拟 人 的 vSphere 入 门 到 精通 课程 和 


vSphere 公 开课 系列 视频 ，。 


jXAGBEESXI 6.0.0 主 机 的 磁盘 配置 如 下 : 
: 准备 1 块 4GB VMDK 用 于 安装 ESXi Host 系 统 。 


. 准备 4 块 VMDK， 容 量 请 根据 自己 的 情况 设 定 ， 建 议 30GB 以 上 ， 这 里 需要 考量 的 是 Tolerate 值 ， 记 住 前 面 的 比例 要 求 即 


这 4 台 赂 套 ESXi 6.0.0 主 机 的 网 络 配 置 如 下 : 
` 添加 4 块 yYNIC， 建 议 配 置 为 YMXNET3， 模 拟 万 兆 环境 。 
CPU、Memory 根 据 自己 的 实际 条 件 选 瑟 ， 能 满足 基础 实验 要 求 即 可 。 


为 了 本 书 的 完整 性 ， 接 下 来 这 部 分 ， 将 教会 大 家 如 何 安装 VSphere 系 统 ， 以 及 如 何 部 署 Virtual SAN 所 需 的 vCenter 


Server, 


本 节 重 点 针对 零 基础 的 技术 爱好 者 们 ， 如 果 你 已 经 有 了 x86 计 算 虚 拟 化 基础 能 力 ， 可 以 直接 忽略 本 章节 。 
乍 先 ， 利 用 5.1 节 准备 好 的 19O， 开 始 安 半 ESXi Host。 在 准备 好 的 主机 插入 ESXi 的 ISO 文 件 ， 设 定 主机 从 光盘 启动 ， 然 后 打 
开 主 机 电源 激活 安 六 向 导 ， 如 图 5-4 所 示 。 


ESx1-5.H. B—-2H15H7Hd4BHi--tandard Boot Menu 


E5Xi-b.H.H-7H15H7HdHH1-standard nstaller 


Hoot from local disk 


j a 
ant inns: 

| | z 
LL Iii 


Automatic boot in B zercnandszs... 





图 54 

出 于 教学 用 途 考 虑 ， 本 书 选择 最 新 的 vSphere 6.0b 版 本 ， 用 作 Virtual SAN Cluster DAEA EMERE. TEÉ5-5rh 
等 待 8 秒 或 选择 ESXi-6.0.0-20150704001-stanard Installer 后 回 和 车， 系统 进入 相关 外 设 、 硬 件 兼容 性 检测 ， 检 测 的 主要 内 容 如 
P: 

: CPU; 

- Memory; 

- I/O Controller; 

- Mouse; 

- Keyboard; 

- Monitoro 

以 及 其 他 相关 组 件 ， 成 功 检测 完成 之 后 ， 进 入 图 5-5 所 示 的 安装 向 导 界 面 。 


需要 注意 的 是 VMware Compatibility Guide 地 址 ， 通 过 这 个 地 址 ， 可 以 登录 VMware 公司 官方 网 站 查询 CPU、Memory、 


Mainboard, I/O Controller、HBA、NIC 等 设备 以 及 相关 驱动 的 兼容 性 ， 如 果 你 在 开始 之 前 没 做 这 件 事 情 ， 那 么 建议 通过 上 述 
地 址 查询 ， 确 认 当 前 设备 的 兼容 性 之 后 ， 再 继续 下 一 步 。 


(Esc) Cancel (Enter) Cont inue 


图 5-5 


检查 完成 后 ， 在 确认 无 误 的 情况 下 ， 直 接 按 回 车 键 开 始 ESXi Server 的 安装 进程 ， 接 着 进入 图 5-6 所 示 的 EULA 窗 口 。 


(ESC) Do not Accept (FI11) Accept and Cont inue 


图 5-6 


如 果 可 能 ， 请 详细 阅读 End User License Agreement (EULA) ， 为 了 节省 时 间 ， 直 接 按 F11 键 Accept and Continuez 





下 一 步 ， 表 示 愿 意 接受 来 自 VMware 公 司 的 产品 最 终 用 户 许可 协议 。 
此 时 ， 系 统 对 目标 安 禾 介质 进行 简单 扫描 ， 以 确保 能 够 识别 安 丢 介质， 如 图 ?5-7 所 示 。 


此 时 ， 即 可 选择 将 ESXi 主 机 安装 到 什么 位 置 。 按 照 5.1 节 所 述 的 准备 工作 ， 选 择 第 一 块 4GB 大 小 的 磁盘 作为 目标 介质 ， 后 面 
的 盘 将 是 后 续 构建 Virtual SAN Disk Groups 所 需 的 闪存 和 HDD 磁 盘 设 备 。 从 图 5-8 中 ， 可 以 看 到 磁盘 都 是 本 地 设备 ， 这 是 满足 
Virtual SAN 的 要 求 的 ， 因 为 Virtual SAN 仅 支持 Local Device。 但 是 还 不 太 能 确定 这 些 Local Devices 能 否 满足 闪存 或 HDD 的 要 
求 ， 所 以 ， 暂 时 不 用 考虑 构建 Disk Group 所 需 的 闪存 与 HDD 的 问题 。5.6 节 会 详细 介绍 如 何 准备 所 需 的 相关 设备 组 件 。 


Scanning... 


Scanning for available devices. This may take a feu seconds. 


图 5-7 


Select a Disk to Install or Upgrade 


+ Contains a VMF5 partition 
# Claimed by Vfuare Virtual SAM (VSAN) 


Storage Device Capac i tu 
Local 

VMuare, VMuare Virtual $ (mpx.vnhbal:CH:T1:L 3) 30.00 GiB 

VMuare, VMuare Virtual 5 (mpx.yvmhbal:C0:T2:L0) 30.00 GiB 

VMuare,  VMuare Virtual 5 (npx.vmhbal:C0:T3:L0) 30.800 GiB 
Renote : 

(none ) 

图 58 


直接 回 车 后 ， 进 入 图 5-9 所 示 的 keyboard layout 选 择 界 面 ， 建 议 保持 默认 的 Us Default 选 项 。 


US Default 


(Esc) Cancel (F9) Back (Enter) Cont inue 
图 5-9 


回 车 之 后 ， 如 图 5-10 所 示 ， 系 统 会 要 求 输入 计划 为 这 台 ESXi Server 准 备 的 密码 ， 注 意 密码 的 复杂 度 和 长 度 ， 建 议 大 小 写字 
母 、 数 字 、 特 殊 字符 组 合 ， 默 认 长 度 不 要 低 于 7 位 数 。 


Passuords match. 


(Esc) Cancel (F9) Back (Enter) Cont inue 


图 5-10 


回 革 后， 系统 进 行 安 委 前 的 最 后 扫 摘 ， 等 待 10 秒 元 石 ， 最 后 安 委 确认 ， 如 果 在 这 个 过 程 中 认为 配置 选项 有 问题 ， 可 以 在 任 
意 一 个 环 世 按 F9 键 回 到 上 一 层 修改 设 定 。 如 果 确 认 一 切 无 误 ， 如 图 ?5-11 所 示 ， 则 直接 按 F11 键 ， 开 始 安 委 进程 。 





Conf irm Install 


The installer is configured to E5X|I 0.0.0 on: 
mpx .vnhbal:CB:TO:L68. 


Harning: This disk uill be repartitioned. 


图 5-11 


RAPUR RIIE, IE, Him COECETPk. XOxWEAE-12Brm. 


Installing ESXi 6.0.0 





图 5-12 


这 个 过 程 不 需要 干预 ， 通 常 满足 兼容 性 要 求 后 ， 是 不 会 出 错 的， 等 待 3~ 5 分 钟 即 可 完成 安装 。 完 成 安装 
驱 弹 出 ， 然 后 回 车 即 可 重启 系统 ， 如 图 5-13 所 示 。 


Dl 
ax 
X] 
NH 


等 待 系统 重启 ， 系 统 重 启 完 成 后 ， 可 以 看 到 图 5-14 所 示 的 DCUI (Direct Console User Interface) 界面 。 


Installation Complete 
E5X1 6.0.0 has been installed. 
ESXi 6.0.0 nill operate in evaluation mode for 68 days. To 
use ESXi 6.0.0 after the evaluation period, you must 
register for a VMuare product license. To administer your 


server, use the vSphere Client or the Direct Control User 
Interface. 


Reboot the server to start using ESXi 6.H.H. 


图 5-13 


VMuare ESXI 6.0.0 (WKernel Release Build 2609299) 


Lu 1-4 M Inc. Vhuare Virtual Platform 


a x [nitelik] CoreTHy (5-45r6 CFU @ 3. 20GHZ 
4 GiB Henory 





Donload tools to manage this host Fron: 
htip://0.0.8.07 
http: //If eB: :20c:29Ff :Fer2:3c93]1/. (STATIC) 


KFZ» Custonize Susten/Vieu Logs FIZ? Shut Doun/Restart 


图 5-14 


选项 需要 任 DCU| 界 


cT 
TH 
m 


细心 一 点 会 注意 到 在 表面 的 安 委 部 署 过 程 中 ， 没 有 任何 关于 主机 名 、 网 络 设 定 等 信息 。 是 有 
面 下 目 行 设 定 。 


5.4 配置 vSphere 主 机 信息 


元 成 安装 之 后 ， 需 要 按照 规划 ， 为 主机 配置 计算 机 名 、 网 络 设 定 等 信息 。 按 F2 键 进入 图 5-15 所 示 的 DCUI 设 定 界面 。 


Authentication Required 


Enter an authorized login name and passuord far 
lacalhost.. 





Conf iqured Keyboard (US Default) 
Login Name : [ root 
Passord: 







«Enter» OK  XEsc» Cancel 


图 5-15 


这 里 ， 出 于 安全 考虑 ， 系 统 会 要 求 输入 root 密 码 ， 这 个 密码 束 是 5.3 节 中 设 定 的 密码 。 输 入 之 后 ， 按 回 车 键 进入 如 图 5-16 所 
示 的 类 似 BIOS 界 面 的 菜单 。 





Susten Customizat ion Cont igure Passuord 
Conf igure Passuyord Set 
Corn igure- bickidoun Mode 
lo preveni unauthorized access Lo this system, set the 
Conf igure Management Metunrlc passord fnr the user. 


Restart füanagenent Metunrk 
Test nanagenent MHetuork 
Hctwuork Restore Opt ions 


Conf igure Keyboard 
Troubleshooting Opt ions 


Vie Systen Logs 
Vien Support Informat ion 


Hcsct bysten Conf iguration 


«Enter? Change «Esp» Log Out 


Marr Fasi h HLA Cullkernre] Helens Min ii AH 


图 5-16 


在 这 个 界面 中 ， 可 以 设 定 如 下 选项 : 


- Configure Passwd: € £X ÈURA, 

: Configure Management Network: 设 定 主机 的 管理 网 络 信息 。 

: Restart Management Network: 重启 管理 网 络 所 在 的 Virtual Switch. 

Test Management Network: 通过 vmkping 方 式 检 查 主机 到 指定 地 址 的 网 络 是 否 畅 通 。 
: Network Restore Options: 快速 清 零 主机 网 络 相 关 设 定 。 

: Configure Keyboard: 更 改 主机 Keyboard Layout。 

Troubleshooting Options: 为 主机 开启 本 地 命令 行 或 SSH 连 接 界 面 。 


: Reset System Configuration: 快速 清除 针对 这 台 主 机 的 全 部 内 容 。 


将 光标 移动 到 图 5-17 中 的 Configure Management Network 选 项 后 按 回 车 键 。 


Conf igure Management Netuork 


Netuork Adapters 
VLAN Coptional) 


IPu4 Conf iqurat ion 





IPu6 Conf iqurat ion 
DNS Conf iqurat ion 
Custom DNS Suff ixes 


图 5-17 
由 于 目前 还 是 I|Pv4 环 境 ， 因 此 ， 将 光标 移动 到 |Pv4 Configuration 选 项 ， 回 车 后 ， 按 上 下 键 移动 光标 到 图 5-18 中 的 Set 
static IPv4 address and network configuration 选 项 ， 然 后 按 空 格 键 选 中 。 


IPu4 Conf igurat ion 


This host can obtain netuork settings automaticallu if your netuork 


includes a DHCP server. If it does not. the following settings must be 
specified: 





( ) Disable IPy4 conf iguration for management netuork 
( ) Use dynamic IPv4 address and netuork conf iqurat ion 
(n) Set static IPv4 address and netuork configuration: 





IPu4 Address [ 18.18.18. 100 ] 
Subnet Mask [ 255.255.255.0 ] 
Default Gateuag [ 10.10.10.2 
«Up/Doun> Select <Space? Mark Selected «Enter?» Ok «Esc? Cancel 
图 5-18 


zm. #AIPv4 Address, Subnet Mask, Default Gateway 信 息 后 回 车 ， 完 成 网 络 信息 的 设 定 。 


在 图 5-19 的 界面 中 ， 移 动 光 标 到 DNS Configuration 选 项 ， 回 车 后 进入 设 定 DNS 界 面 。 


Conf igure Management Netuork 


Hetuork Adapters 
VLAN Copt ional) 


IPv4 Conf iqurat ion 
IPy6 Conf iqurat ion 


JN Conf iqurat ion 





Custom DNS Suff ixes 


图 5-19 


设 定好 DNS 与 Hostname 后 ， 按 回 车 键 ， 即 可 完成 这 部 分 的 设 定 ， 如 图 5-20 所 示 。 


DHS Conf igurat ion 


inis hast can only obtain DNS settings autonat ically if it also obtains 
[ts IP conf Igurat ion autanat ically 





LJ Obtain DNS server addresses and a hostname automatically 
(03 Use the follouing DNS server addresses and hoastnane : 


Primary DNS Server [ 10.10.10.1 ] 
Alternate DNS server [ 8.6.0.8 ] 
los tnance L esxilll3.vnanager . cn 





«ip/Doun? Select  &535pace» Hark Selected «Enter» Dk «Esc?» Cancel 


图 5-20 


连续 按 Esc 键 退出 刚才 的 设 定 界面 ， 系 统 弹 出 确认 保存 刚才 的 设 定 选 项 ， 直 接 按 Y 键 保存 相关 设 定 ， 如 图 5-21 所 示 。 


Conf igure Management Netuork: Conf irm 


Tou have made changes to the hosts management netuork. 
Applying these changes nay result in a brief netuork outage, 


disconnect remote management softuare and affect running virtual 
machines, In case IPv6 has been enabled or disabled this mill 
restart your host. 





Apply changes and restart management netuork*? 


{Y> Yes «M» Ho «Esc» Cancel 


E 5-21 


至 此 ， 完 成 对 Virtual SAN 节 点 主机 的 主机 和 名、 网 络 相 关 选 项 设 定 。 可 以 看 到 ESXi 的 初始 界面 如 图 5-22 所 示 。 原 本 没有 IP 信 
息 、 主 机 信息 ， 但 是 设 定之 后 都 出 现在 界面 中 ， 在 这 个 界面 中 还 能 看 到 : 


.ESXi 主 机 的 版 本 号 和 Build Version ; 
-CPU 配置 ; 

-Memory 配置 ; 

` 如 果 想 重启 这 台 主 机 ， 可 以 按 F12 键 。 


如 果 够 细心 ， 束 会 友 现 图 5-22 中 的 Memory 为 4GB， 这 是 故意 这 样 设 定 的 ， 笔 者 要 提醒 大 家 ， 按 照 这 个 Memory 设 定 ， 是 
无 法 为 这 人 台 主 机 激活 Virtual SAN 配 置 的 。 作 为 学 习 环 境 ， 少 需 要 6GB 的 主机 内 存 。 


VHunrr E541 0.0.0 (WNKernel Release Build 2809215) 


VHuare, Inc. VHiuare Virtual Platform 


J x InteltR) CorecIm) i5-45frH CPU | 3.2H]6Hz 
4 GIR Memory 





Download tools to manage this host from: 
http: esx i 1007 

http:7/10.10.10.100/ (STATIC) 
http://L[fe80::2]c:29ff :fef2:3c93] (5TATIC)} 


Far Lustonize Systen/Vien Logs Fla» Shut Doun/Restart 
图 5-22 


重复 5.4 节 的 操作 ， 为 其 余 3 台 节点 主机 完成 Virtual SAN 忆 点 准备 工作 。 


5.5 ”部署 vVCenter Server 


Virtual SAN 环 境 需 要 vSphere 节 点 主机 ， 也 需要 vCenter Server 管 理 平台 。vCenter Serversxz Windows Server 和 SLES 
Linux 两 个 操作 系统 平台 。 


针对 Windows Server 平 台 ， 它 支持 的 Windows Server 版 本 如 下 : 
- Windows Server 2008 R2/SP1 (64bit) ; 
- Windows Server 2012 R2/SP1 (64bit) 。 
因此 ， 如 果 选 择 将 vCenter Server 部 署 到 Windows 平 台 ， 则 需要 先 准备 Windows Server, 


鉴于 VMware 官方 强烈 建议 选择 SLES Linux 平 台 ， 所 以 ， 下 面 介 绍 如 何 从 零 开 始 部 署 一 台 SLES Linux 平 台 用 作 vCenter 


Server, 


1.53 EXITIR 


SLES Linux 版 本 的 vCenter 有 一 个 很 好 听 的 简称 一 一 VCSA， 它 是 一 个 基于 SLES 的 OVA (Open Virtualization 
Appliance) ， 这 个 OVA 是 一 个 通用 虚拟 化 文件 封 濠 标准 。 由 于 Linux 版 本 的 vCenter 部 署 很 复杂 ， 所 以 VYMware 公 司 部 团 好 
了 ， 用 户 只 需要 下 载 这 个 OVA 文 件 ， 然 后 将 其 导入 现 有 的 ESXi 主 机 上 ， 设 定 主 机 和 名、 网络 和 密码 等 即 可 ， 非 常 简单 。 





选用 VCSA 的 好 处 很 多 ， 例 如 : 
- VCSA 比 Windows 版 本 的 vCenter 部 署 更 简单 ; 
- VCSA 比 Windows 版 本 的 vCentet 更 稳定 ; 
- VCSA 比 Windows 版 本 的 vCentet 更 容易 满足 可 用 性 要 求 ; 
- VCSA 可 以 帮助 企业 节省 一 个 Windows Server 的 License; 
: VCSA 内 置 了 非 结 构 化 数据 库 vPostgres 可 以 帮助 节省 数据 库 的 License。 


从 vSphere 6.0 开 始 ， 为 了 全 面 完 成 软件 的 B/S 化 ，VCSA 的 部 署 也 发 生 了 变化 ， 从 6.0 开 始 ， 它 已 经 支持 从 任意 PC 操作 系统 
平台 部 署 了 ， 如 MAC OS、Windows、Linux 等 。 它 的 部 署 方 式 有 以 下 两 种 : 


- 脚本 部 者 ; 
.Web 网 页 向 导 式 部 署 。 


为 了 简单 快捷 ， 本 书 只 介绍 如 何 从 Web 网 页 进行 向 导 式 部 署 。 
2. 从 Web 网 页 进行 同 导 式 部 署 


在 VMware 官网 下 载 VMware-VCSA-all-6.0.0-2800571 文 件 ， 在 任意 PC 平台 设备 打开 它 ， 可 以 看 到 图 5-23 所 示 的 文件 结 
构 。 


mm 


dbschema readme-de.txt readme-tr.txt readme-ja.txt 


FE | TX I IEI 


readme-ko.txt readme-zh-CN.txt readme-zh-TW.txt readme.txt 


| amm | 


IT moved CS vcsa-cli-1nstaller vcsa-setup.html 





图 5-23 
图 5-24 中 的 vcsa-setup.html 惑 是 Web 部 署 方式 的 启动 文件 。 


但 是 ， 在 激活 安装 启动 文件 之 前 ， 先 在 vcsa 目 录 安 装 ClientlntegrationPlugin-6.0.0， 如 图 5-24 所 示 。 


his P + DVD Drive (EJ Vlivhware VCSA P vcsa 


Date modified Type 
E version 6/8/2015 3:08 PM Text Document 
Rb VIMware-ClientIntegrationPlugin-6.0.0 6/8/2015 3:08PM — — Application 97,341 KB | 
Lì vmware-vcsa 68/2015 3:08 PM File 1,874,144 KB 





图 524 
Qs 
如 果 想 在 Windows 以 外 的 平台 部 署 VCSA， 只 能 通过 脚本 的 方式 。 


因为 本 书 选择 Windows 平 台 部 署 ， 所 以 ， 需 要 像 图 ?-24 那 样 安 委 一 个 插件 ， 揪 件 安装 过 程 不 详 述 ， 不 会 出 现任 何 意外 。 注 
意 ， 请 安 委 完 插 件 后 再 继续 下 一 步 的 操作 。 


激活 局 动 文件 乙 后 ， 进 入 图 ?-25 所 示 界 面 。 单 击 Install 按 钮 进入 安 妆 同 导 。 


vCenter" Server Appliance" 6,0 





图 5-25 


在 End User License Agreement HAHI accept the terms of the license agreement. 之 后 继续 配置 ， 如 图 5-26 所 示 。 








1 Erid lis er Liceanse MTreettiaidl 


"ý 


? Connect to target server 
J Set up virtual moc hare 

4 Speci depka hype 
5 Sut np Simgli Sig cn 

b Singe Sinon Sit 

/ Elect appliance sre 

f Select darastare 

"n Cnrfigiure detabiass 


10 Müturor Kk Semis 


11 Readyio complete 


End User License Agreement 
Pleass read ihe faliowini license agreerment before proceeding 


vimRARE END USER LUCENSE AGREEMENT 


PLEASE HOTE THAT THE TERMS OF THIS END USER LICENSE AGREEMENT SHALL GOVERN TOUR USE OF 


THE SOFTWARE, REGARDLESS OF ANY TERMS THAT MY APPIEARFREDUIRANG THE INSTALLATION OF THE 
SOFTWARE. 


IMPORTANHT-.READ CAREFULUY: BY OWY NLOADIHMG, PRSTALLIINES, OR USING THE SOFTYVARE, YOL (THE 
RDVOLAL OR LEGAL EHTITT) AGREE TO BE BOUND BY THE TERMS CF THE EHD USER LICENSE 
AGHEEMENT TEULAS. IF YOU DO NOT AGREE TO THE TERMS OF THIB EULA YOU MUST MOT 

D CANN LOAD, INSTALL, OR USE THE SOF TVIARE , AND TOU MUST DELETE OR RETURN THE UhNLSEL! 
BOF WARE TO THE VEIRSDOR FROM WH3CH YOU ACGOQUIRED IT WITHIN THIRTY (0) DATE ANO REQUEST 
A REFUND OF THE LICENSE FEE, IF ANY, THAT YOU PAD FOR THE SOFTWARE. 

EVALUATIOH LICENSE. f You aré licensing fie Soteare for ealuaben purpases, Yaur usa olhe Soare i5 
hah parrnittad im a non-produckiom envi onmi and for ine gernkod Timid py re Licenta Eeay Nolhmetanding 
an ether provision im this EULA, an Evaluation License efthe Software i5 provided ASAS" without 
Indermnincatian, Suppor ar warranty of sm end, espressar or [ripiiec 


1. DEHRI TIONS, 


1.3 Affillatle" means, with respect ba a party, an enlity tiat is directi orini ne rhy cantrmied by or is under 
comman cenirol eth such sare, where "eontra? means an awneesnep, voririg ar similiar merest represenibm g 


T 





[w] | accept the terms ofthe License agreement |. Frim 


Back || Med Firish Cancel | 


图 5-26 


接着 ,你 需要 做 的 事情 束 是 设 定 在 5.4 节 中 准备 好 的 ESXi 主 机 的 FQDN 或 1P 信 息 ， 以 及 输入 它 的 账号 密码 ， 如 图 5-27 所 示 。 


Qa. 果 想 要 输入 FQDN 名 字 ， 则 需要 DNS 服务 器 已 经 准备 好 了 ， 并 且 设 定好 了 解析 信息 ， 否 则 请 直接 输入 IP 信 息 。 


L7 End Liser License Agreement 


2 Comici in ia gel seram 


J 5wet un virtiial machine 


celti deplinenanmt haa 
5 Setup Sie Simon 
A *irgle Signum Sie 


' Selpct appliance size 


"hs 


[| Select datipitarie 
u Cenia database 
0 Fletularx Setia 


17 Kami omplen 






Connect to Target server 

SpPEN hè ESKI hast an which io deploy he voenter Bareer Appliance 

FH or IP Address. | gsx OU vrmanacer Cri 

User rame [ma — le 


Password -| 


pj Before proceeding 


& ke Hie ihe ESA huüstis nut im lack dosi mide or meinmerianmce mate 
« Tihen deployng 1a 3 "xpnarg D'ietinuted Swrtch fel. ta Ei musthe peplayad ta sn ephemera 
portarpugp. Aler daplosrmant, d cran be moved to a siatt or dyinsmic pongraugp. 


Bark ett | Finish Cancel 


图 5-27 


成 功 连接 之 后 ， 要 求 验证 证 书信 息 ， 直 接 单 击 Yes 按 钮 即 可 ， 如 图 5-28 所 示 。 


Cerificate Vrfarning 


An untrusted SEL certificate is Installec an 10.1 3.10.50 anc secure 
communication cannot be guaranteed. Depending an Your secunty 
palicv, ihis issue might nat represent a securty concern. 


Ine SHAT thumbprint afthe certificata i2: 
DSAI AUDEAT SAT ERBU TAAA DS a CAST TESIA 7E 0E DE 


Ta acceptand caniinue, press res 





图 528 
这 里 ， 要 求 设 定 VCSA 在 ESXi 主 机 上 的 名 称 ， 按 照 图 5-29 所 示 的 方式 输入 Appliance name， 并 且 预 先 设 定 这 人 台 VCSA 的 


root 密 码 ， 连 续 输 入 两 次 。 
vCenter Server 有 以 下 两 种 部 署 模式 可 供 选择 ( 见 图 ?-30) : 
: 3$ Platform Services Controller-5 vCenter Servet 核 心服 务 部 署 到 一 起 ; 


- 将 Platform Services Controller vCenter Setvet 核 心服 务 分 离 。 


CY VMware venter Sarver Apoliance Deployment 


w 1 End User License Agreement Set up virtual machine 
Speci virtual machine zaettingz Tor the vCanter Server Appliance io be deployed. 
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图 5-29 
LF VMware vCenter Server Appliance Deployment 
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图 5-30 


Qua 


通常 小 规模 环境 直接 选择 如 图 5-30 所 示 Embedded Platform Services Controller, 大 规模 生产 需要 考虑 vCenhtet 高 可 用 情况 ， 建 议 


选择 External Platform Services Conttollet。 


Plateform Services Controller 又 称 PSC， 是 vSphere 6.0 中 的 新 功能 ， 它 实现 了 针对 SSO、 证 书 等 服务 与 vCenter 核 心服 务 
的 分 离 可 能 性 ， 目 的 就 是 集中 管理 以 及 vCenter 本 身高 可 用 性 架构 设计 的 可 能 性 。 


在 默认 情况 下 ，vCenter 需 要 一 个 Default Domain 用 作 Sso 服 务 ，vSphere 中 的 所 有 账户 授信 都 是 通过 SSO 来 完成 ( 见 图 5- 
31) ， 在 环境 中 不 存在 其 他 vCenter 的 前 提 下 ， 请 直接 选择 Create a new SSO domain 选 项 ， 然 后 设 定 默认 SSO 密 码 、 默 认 
SSO Domain (这 里 建议 使 用 vsphere.loca， 不 要 使 用 其 他 目 定 义 名 称 ， 尤 其 是 环境 可 能 会 扩充 到 其 他 业务 场景 ， 如 vRealize 
Automation Center 时 ) . NASSO Site Name, 
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vw«:enier S50 User name: administrator 


B Select appliance size 
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图 5-31 
Qua 


环境 中 已 经 有 其 他 vCentet 或 PSC 时 ， 可 以 选择 共享 一 个 SSO Domain， 此 时 可 以 选择 Join an SSO domain in an existing vCenter 


6.0 platform services controller. 
根据 环境 ESXi Host 与 VM 规 模 大 小 ，Appliance Size 提供 了 以 下 4 个 选项 ， 如 图 5-32 所 示 。 
Tiny: 针对 小 微 环 境 ， 通 常 主机 在 10 台 以 内 或 VM 在 100 台 以 内 。 
- Small: 针对 小 型 环境 ， 通 常 主机 在 100 台 以 内 或 VM 在 1000 台 以 内 。 
- Medium: 针对 中 型 环境 ， 通 常 主 机 在 400 台 以 内 或 VM 在 4000 台 以内。 


- Large: 针对 大 型 环境 ， 通 常 主 机 在 1000 台 以 内 或 VM 在 10000 台 以 内 。 


不 同 的 Appliance size 意 味 着 不 同 的 内 存 大 小 和 JVM 内 存 大 小 ， 最 小 是 2vVCPUs、8GB Memory, 120GB Disk， 最 大 可 以 到 
16 vCPUs, 32GB Memory, 450GB Disk, 
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图 5-32 


选择 一 个 存放 这 人 台 VCSA 的 Datastore， 如 果 希 望 它 不 要 占据 大 多 存储 空间 ， 可 以 勾 选 Enable Thin Disk Mode, 之 后 存储 
空间 开销 将 会 按 需 增长 ， 如 图 5-33 所 示 。 如 果 不 勾 选 该 选项 ， 则 存储 空间 必须 满足 120GB 的 要 求 ， 否 则 将 无 法 继续 ,。 


VCSA 支 持 的 数据 库 类 型 有 以 下 2 种 ， 如 图 5-34 所 示 
VPostgres: 这 个 数据 库 是 系统 内 置 的 开源 、 非 结构 化 数据 库 ， 不 用 额外 配置 即 可 使 用 。 
: Oracle: 外 置 Oracle 数 据 库 ， 需 要 提前 准备 好 Otracle 数 据 库 才能 使 用 。 


Qua 


VCSA 不 支持 SQL Setrvet 数 据 库 。 另 外 ， 如 非 必 要 ， 实 质 上 生产 环境 也 可 以 直接 使 用 vPostgres 数 据 库 ， 它 是 一 款 很 强大 的 数据 
库 。 
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图 5-33 
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图 5-34 


Network Settings 中 选择 一 个 网 络 、 设 定 IPv4 相 关 网 络 信息 、System name, Subnet mask, Network gateway, 


Network DNS Servers, Configure time sync， 如 图 5-35 所 示 。 


注意 ， 这 里 的 System name 如 果 想 设 定 为 FQDN， 则 要 求 DNS 服 务 器 解析 已 经 做 好 了 ， 否 则 会 导致 部 署 失 败 。 


确认 一 切 设 定 都 无 误 之 后 ， 和 直接 单 击 图 5-36 中 的 Finish 按 钮 ， 即 可 激活 部 署 向 导 。 
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图 5-35 
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图 5-36 


部 署 向 导 激 活 后 ， 系 统 通过 网 络 上 传 这 全 VCSA 的 文件 到 指定 的 ESXi 服 务 器 ， 时 间 根 据 网 络 好 坏 不 定 。 这 里 有 个 非 音 天 键 的 
AERAR. 不 要 在 进度 条 结束 乙 前 对 部 署 过 程 做 任何 干扰 性 动作 ， 因 为 这 样 的 任意 干扰 动作 生效 后 都 会 导致 部 署 的 VCSA 切 始 
化 失败 。 部 署 初 始 化 需要 15 分 钟 以 上 ， 请 耐心 等 待 ， 直 到 进度 条 提示 成 功 为 止 ， 如 图 5-37 所 示 。 
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图 5-37 


5.6 将 vSphere 主 机 添加 到 vCenter 


Virtual SAN Cluster 需 要 vCenter Server 支 撑 ， 基 本 上 VMware 的 所 有 产品 都 围绕 vSphere 展 开 ， 而 vSphere 的 核心 之 一 就 
是 vCenter Server。 所 以 ， 还 需要 将 vSphere 主 机 添加 到 vCenter Server 统 一 管理 ， 才 算 完 成 Virtual SAN 构 建 的 准备 工作 。 


利用 vSphere Web client 登录 到 5.5 节 中 准备 好 的 vCenter Server， 输 入 地 址 https://vcsa.vmanager.cn， 接 着 输入 在 配置 
VCSA 过 程 中 设 定 的 默认 SSO 账 户 密码 ， 账 户 为 administrator@vsphere.local， 如 图 5-38 所 示 。 


y G) vsphere Web Client 


ec 


vmware 


AL Nu s 


Paysword: 


vCenter Server 的 初始 界面 如 图 5-39 所 示 。 
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5.7 Virtual SAN 节 点 主机 磁盘 准备 


通过 前 面 几 个 小 节 的 准备 工作 之 后 ， 构 建 Virtual SAN 基 础 准备 工作 就 算 完成 了 。 接 下 来 要 为 环境 准备 Virtual SAN 节 点 主机 
所 需 的 主机 磁盘 信息 。 关 键 点 就 是 | 闪存 盘 的 准备 工作 。 这 要 求 有 一 定 的 vSphere 基 础 命令 行 能 力 才能 相对 轻松 地 学 习 。 


由 于 Virtual SAN 无 论 是 混 合 存 储 ， 还 是 全 闪存 存储 都 需要 闪存 设备 ， 所 以 ， 无 论 是 在 骨 套 的 实验 环境 中 ， 还 是 在 生产 环境 
中 ， 必 要 的 硬件 设备 准备 是 必需 的 。 本 书 需要 为 准备 好 的 4 台 ESXi 6.0.0 主 机 准备 主机 的 4 块 VMDK， 按 需 准备 闪存 设备 。 这 里 的 
准备 工作 将 通过 ESXCLI 命 令 行 来 完成 ， 具 体 如 下 。 


5.8 Virtual SAN 主 机 网 络 准 备 


Virtual SAN 对 网 络 部 分 的 要 求 相对 是 最 低 的 ， 无 非 是 全 闪存 与 竟 合 存储 结构 对 网 络 卡 速率 要 求 不 同 而 已 。 因 此 ， 需 要 为 4 
&ESXi 6.0.0 Hosts 各 自 配置 一 个 VMkernel， 专 用 于 VSAN。 下 面 分 别 介 绍 vSphere Standard Switch 和 vSphere Distributed 
Switch 配置 Virtual SAN traffic For VMkernel 的 网 络 准 备 工作 。 


5.9 创建 Virtual SAN Cluster 


完成 准备 工作 之 后 ， 在 vSphere Web client 界面， 开始 创建 Virtual SAN Cluster。 右 击 虚拟 数据 中 心 ， 选 择 New 
cluster 一 Name， 在 里 面 选 择 Virtual SAN 一 Turn On， 选 择 相应 存储 设备 的 模式 。Virtual SAN Clusteri FARR: 


: Automatic ; 
i Manual; 


Automatic 模 式 所 有 的 存储 设备 都 会 被 自动 添加 到 Disk Group， 一 切 都 会 自动 完成 构建 。 在 Manual 模 式 下 则 什么 都 不 会 
做 ，Disk Groups 需 要 自行 添加 。 图 5-83 是 Automatic 下 的 Virtual SAN 开 局 方式 。 
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式 下 的 Disk Groups, 


5.10 “本章 小 结 


Clustet 的 完整 构建 基础 ， 并 了 解构 建 过 程 中 的 注意 事项 。 
构建 过 程 中 的 两 种 模式 如 下 : 
: Automatic ; 


i Manual o 


介绍 了 关于 Manual 模 式 构建 Vittual SAN Cluster Disk Group 的 细节 ， 这 是 因为 在 全 自动 模式 下 ， 


现成 功 构 建 和 构建 失败 两 种 情况 ， 而 构建 过 程 中 的 相关 细节 ， 将 一 无 所 知 。 


所 有 的 准备 工作 ， 都 是 为 了 成 功 构 建 一 个 Vittual SAN Cluster。 学 习 完 本 章 的 内 容 之 后 ， 相 信 读 者 已 经 掌握 了 Virtual SAN 


不 需要 做 任何 事 ， 结 果 只 会 出 


此 ， 本 章 选 择 在 Manual 模 式 下 完全 手动 创建 模式 ， 一 步 步 详细 介绍 构建 Manual 状 态 下 的 Virtual SAN Cluster 的 细则 。 对 于 学 


习 研 究 而 言 ， 这 是 非常 重要 的 ， 因 为 这 能 让 您 知 其 然 ， 也 知 其 所 以 然 。 构 建 一 个 环境 并 不 复杂 ， 复 杂 在 于 如 何 很 好 地 维护 一 个 环 


境 ， 如 果 只 知 其 然 ， 不 知 其 所 以 然 ， 那 么 ， 维 护 这 个 环境 对 于 读者 而 言 ， 将 会 是 个 灾难 。 


通过 本 章 的 学 习 ， 读 者 可 以 掌握 手动 构建 Viftual SAN Clustet 的 细节 、 注 意 事项 ，Disk Group 中 的 闪存 、HDD 各 自 的 用 途 、 


VsanDatastote 的 空间 容量 计算 逻辑 ， 以 及 进行 简单 的 故障 判断 。 


另外 ， 本 章 还 为 条 件 不 太 充分 的 技术 人 提供 了 一 个 在 有 限 环 境 下 字 习 、 研 究 完整 的 Vittual SAN 技 术 的 变通 方法 。 这 一 点 对 于 
技术 研究 而 言 ， 是 非常 重要 的 ， 毕 竞 不 是 所 有 人 都 具备 完整 的 技术 学 习 和 研究 条 件 。 


$868 Virtual SAN 结 构 性 原理 解析 


章节 概要 

本 章 的 核心 内 容 如 下 : 

- Virtual SAN 中 的 对 象 与 组 件 结构 解读 ; 
: Hybrid 5 AII Flash 存 储 的 数据 流向 ; 

- I/O Æ Virtua SAN 环 境 中 的 存在 差异 ; 


- Virtual SAN 中 Witness 组 件 的 不 同 存在 形式 与 用 途 差 异 。 


6.1 Virtual SAN 的 对 象 与 组 件 结构 


对 象 、 组 件 是 Virtual SAN 中 最 重要 也 是 最 基础 的 概念 ， 其 实 所 有 的 对 象 、 组 件 等 反映 到 Virtual SAN 中 都 是 对 象 ， 这 也 是 对 
象 存储 的 特色 。 一 个 VM 的 磁盘 文件 在 Virtual SAN 环 境 中 的 存在 形式 如 图 6-1 所 示 。 可 以 看 到 它 有 很 多 份 数据 位 于 不 同 的 物理 磁 
盘 区 间 里 面 。 因 此 ， 要 想 理解 Virtual SAN 的 颗粒 度 ， 束 需要 深入 了 解 Virtual SAN 的 对 象 与 组 件 结构 。 


在 这 个 结构 中 ， 涉 及 如 下 对 象 
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图 6-1 


: VMHome Namespace 中 的 文件 清单 ， 如 *.vmx、*.log 等 ; 
: VMDK、 虚 拟 机 的 磁盘 文件 ; 
. SWAP 文件 。 
在 这 个 结构 中 ， 虚 拟 机 的 VMDK 与 物理 磁盘 的 关系 分 为 以 下 2 个 维度 : 
“ 位 于 闪存 盘 的 热点 数据 ; 


: 位 于 HDD 中 的 归档 数据 。 


6.2 Virtual SAN 1/O 数 据 变 化 


Virtual SAN 在 执行 |/O 变 化 时 ， 会 根据 FTT 产 生 的 Replicas， 对 所 有 的 Replicas 执 行 写 入 ， 并 且 将 变化 体现 在 闪存 Buffer 
中 ， 如 图 6-6 所 示 。 
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假设 ， 由 于 设 定 Stripe 人 参数， 导致 环境 中 仓 在 类 似 1MB 这 样 小 的 数据 变化， 那么 它 会 在 类 似 图 6-7 所 示 的 Stripes 上 以 增 量 的 
形式 增加 这 个 1MB 的 变化 。 


esxi-01 esxi-02 esxi-03 | esxi-04 ` 








vsan network 







|l 
ES J 
| x 
g] 


— " 
Eu 


| 


l| 
| i | 
j 
AL 


A 


cm 





^ TFX^—. | mmm numi Re du, "t 


从 性 能 考虑 ， 实 质 上 人 在 10Gbit/s 网 络 环境 下 ， 这 样 分 布 式 的 结构 部 署 ， 同 时 将 MO 分 布 在 不 同 的 节点 ， 然 后 通过 网 络 进行 数 
据 同 步 的 效能 也 不 见得 会 比 Local 模 式 低 。 因 此 综合 而 言 ，Virtual SAN 的 数据 模型 和 结构 特征 ， 足 以 支撑 它 的 设 定性 能 输出 。 


"i 


6.3 Virtual SANrHBÉlWitnessT£RE 


Witness 随 着 对 象 被 创建 ， 它 只 包含 Metadata， 这 一 点 前 面 已 经 铝 过 了 ， 它 的 空间 消耗 在 最 新 的 6.0 版 本 中 只 有 4MB。 以 一 
个 3 节点 Cluster 为 例 ， 如 果 VMDK 存 放 于 节点 01 和 节点 02， 那 么 Witness 就 会 被 存放 在 节点 03 上 ， 这 样 当 出 现任 意 一 台 主 机 宕 机 


时 ， 都 能 够 保证 当前 环境 的 组 件 总 量 大 于 50%。 同 样 ， 当 发 生 Network Partition 或 Brain Splitl1 时 ， 也 需要 Witness 来 作为 切换 
的 参考 。 


Virtual SAN 6.0 中 对 于 组 件 的 计算 方式 不 同 于 Virtual SAN 5.5， 它 会 利用 VOTE 的 总 数 来 判断 ， 这 是 因为 Virtual SAN 6.0 


引入 了 Qurom-based System 上 四， 每 个 组 件 可 能 会 有 一 个 或 一 个 以 上 VOTE 来 决定 VM 的 可 用 性 。 当 VOTES 总 数 大 于 50% 时 ， 虚 
拟 机 绝对 可 用 ; 小 于 509% 则 一 定 会 出 问题 。 


[1] 与 Network Pattition 一 样 ， 都 是 vSphete HAp 的 术语 ， 一 种 由 于 网 络 问题 导致 的 主机 故障 。 
[2] 一 种 选举 算法 ， 被 用 于 VSAN 6.0 中 的 可 用 性 选举 支持 ， 算 法 里 每 个 对 象 至 少 有 1 个 VITE 。 


6.4 Virtual SAN 5.5 中 的 Witness 类 型 


1.Primary Witness 


环境 需要 2*FTT+1 个 节点 ， 如 果 和 存放 了 所 有 对 象 数据 组 件 ， 依 然 无 法 满足 节点 数量 的 需求 ， 则 Primary Witness 会 生成 ， 直 
到 Virtual SAN Cluster 的 总 节点 数 满 足 2xn+1 后 ， 恢 复 正 常 。 因 此 ，Virtual SAN Cluster 节 点 总 数 满 足 系 统 要 求 时 ， 不 会 存在 


Primary Witness, 
2.Secondary Witness 


Secondary Witness 的 存在 是 为 了 保障 每 个 节点 主机 都 有 被 选举 的 权利 。 它 的 重要 性 体现 在 每 个 节点 发 生 故 障 后 ， 都 会 导致 
触 皮 Witness 事 件 。Secondary Witness 的 仔 在 束 是 为 了 保障 每 个 节点 都 能 够 有 一 致 的 组 件数 。 结 合 存 放 于 Primary Witness 的 
节点 ， 所 有 节点 上 的 数据 组 件 加 上 Witness 数 量 是 相等 的 。 


3.Tiebreaker Witness 解 读 


生成 Primary Witness 和 Secondary Witness 之 后 ， 为 了 确保 Witness 的 组 件数 为 奇数 ， 还 会 增加 一 个 Tiebreaker 


Witness, 
4.Witness 应 用 案例 
(1) 案例 01 


在 VMDK=511GB，FTT=1，Stripe=1 的 场景 下 ， 只 有 Tiebreaker Witness。 人 也 就 是 说 在 这 个 场景 下 ， 不 存在 Primary 
Witness 和 9Secondary Witness， 如 图 6-8 所 示 。 


Witness ctr esxi5Ü.vmanager.cn XXXX) -XXX-XXX- ia. XXXXXX -XXX-XXX-XXX 


RAID1 
RAID 0 
Component Active esxi6ü.vmanager.n  (naa.xxxxxa)  XXXXXa-xxa-xxa-xxa — naa.xxxxxb xxxxxb-xxb-xxb-xxb 
Component Active esxi'ü.vmanager.cn  (naa.XXXXXC)  XXXXXC-XXC-XXC-XXC | naa.xxxxxd XXXXXd-xxd-xxd-xxd 
RAID 0 
Component Active esxiBÜ.vmanager.cn  (naa.xXxxxe)  XXXXXe-Xxe-xxe-xxe i | XXXXXf-Xxf-xxf-xxf 


Component Active esxibü.v.manager.cn  (naa.xXxxxxg)  XXXXxXg-Xxg-xxg-xxg naa. xxxxxh-xxh-xxh-xxh 





(2) 案例 02 


在 VMDK=515GB，FTT=1，Stripe=1 的 场景 下 ， 存 在 2 个 Secondary Witness 和 1 个 Tiebreaker Witness。 综 合 起 来 ， 在 整 
个 环境 中 ， 存 在 3 个 Witness， 如 图 6-9 所 示 。 


可 能 这 个 场景 很 多 人 难以 理解 ， 简 单 解释 一 下 : 由 于 在 Virtual SAN Cluster 中 单一 的 文件 最 大 只 能 到 255GB,， 一 个 515GB 
的 文件 会 被 切割 成 3 份 ， 所 以 ， 可 以 看 到 图 6-9 中 的 每 个 RAID 0 环境 中 都 有 3 个 组 件 ， 加 起 来 就 是 6 个 组 件 ， 这 意味 着 整体 组 件数 
是 不 够 的 ，Primary Witness, Secondary Witness 和 Tiebreaker Witness hE Zr ÆT. 


Witness Active esxi50.vmanager.cn EE XXXXXX-XXX-XXX ANAK DARE VUES 
Witness Active esxi6Üü.vmanager.n  (naa.xxxxxa)  xxxxxa-xxa-xxa-xxa . naa.xxxxxb xxxxxb-xxb-xxb-xxb 
Witness Active esxi'Ü.vmanager.cn  (naa.XxXxXc)  XXXXXC-XXC-XXC-XXC = naa.xxxxxd XXXXXxd-xxd-xxd-xxd 
RAID1 
RAID 0 
Component ' esxibÜ.vmanager.cn  (naa.XXXXXX)  XXXXXX-XXX-XXX-XXX  — laa.Xxxxxx XXXXXX-XXX-XXX-XXX 
Component Active esxibü.vmanager.cn  (naa.xxxxxc)  XXXXXC-XXC-XXC-XXC — naa.xxxxxd xxxxxd-xxd-xxd-xxd 
Component Acti esxi6D.vmanager.cn  (naa.xXXXXC)  XXXXXC-XXC-XXC-XXc . naa.xxxxxd XXXxxd-xxd-xxd-xxd 
RAID 0 
Component Acti esxi?'Üü.vmanager.cn  (naa.xxxxxe)  xxxxXe-xxe-xXxe-xxe&e = naa.xxxxxf XXXXXÍ-XXÍ-xx[-xxf 


Component Livi esxiBÜ.vmanager.cn  (naa.xxxxxg)  xxxxxg-xxg-xxg-xxg —naa.xxxxxh xxxxxh-xxh-xxh-xxh 


Component ivi esxiBÜ.vmanager.cn  (naa.xxxxxe)  xxxxxe-xxe-xxe-xxe naa.xxxxxf XXXXXÍ-XXf -xxf -xxf 





65 本章 小 结 


本 章 重 点 介绍 了 Virtual SAN 中 的 对 象 体 现形 式 和 数据 读 取 、 写 入 、 安 全 等 ， 详 细 介 绍 了 在 全 闪存 、 混 合 存储 两 种 结 
F, Read Cache. Write Buffet 的 工作 流程 ， 以 及 两 者 的 大 体 差 异 。 深 入 介绍 了 Cache 与 Capacity 在 全 闪存 与 混合 存储 中 的 数据 加 载 


变化 、 数 据 加 载 工 作 流 程 等 。 通 过 对 本 章 的 学 习 ， 读 者 可 以 掌握 Vittual SAN 核 心 部 分 ， 也 就 是 数据 I/O 〇 交互 的 工作 逻辑 和 工作 进 
程 。 这 对 于 未 来 对 Virtual SAN 环 境 的 性 能 把 握 、 性 能 故障 处 理 都 有 着 重要 的 指导 意义 。 


详细 介绍 了 Witness 组 件 在 Virtual SAN 中 的 位 置 ， 以 及 5.5 和 6.0 的 异同 。 通 过 对 Witness 的 概念 深度 阅 述 ， 读 者 将 掌握 Virtual 
SAN 中 的 对 象 构 成 ， 而 不 至 于 只 知 其 然 ， 不 知 其 所 以 然 。 


第 7 童 ”维护 Virtual SAN Cluster 


章节 概要 
本 章 的 核心 内 容 如 下 : 
: Virtual SAN 管 理 的 几 个 关键 部 位 ; 
: Storage Providers 的 存在 对 于 Vittual SAN 的 意义 ; 
. 灵活 调整 Vittual SAN Clustet 中 的 磁盘 设备 状态 ; 
- MaintenanceMode -5 Virtual SAN 的 协同 工作 类 型 ; 
- 为 Vittual SAN 环 境 创 建 Fault Domain ; 
. Disk Group 的 管理 ; 
: VM Storage Policies 的 功能 ; 
: VM Storage Policies 之 下 的 Sttipe、FTT 等 信息 ; 
- 禁用 Virtual SAN Clustef 以 及 产生 的 影响 。 
对 Virtual SAN Clustet 的 管理 主要 包括 以 下 几 个 方面 : 
: Storage Providers% 3 ; 
- Virtual SAN Clustet 设 备 管理 ; 
- Virtual SAN Clustet 扩 X; 
- Maintenance Mode i£ f$ ; 
: Fault Domains E I ; 
- Storage Policy-Based Management f 3-9 JF] ; 


- Z& M Virtual SAN Cluster. 


7.1 管理 Virtual SAN Storage Providers 


Virtual SAN Storage Providers 是 很 基础 ， 也 是 很 重要 的 一 个 组 件 。 这 个 组 件 用 作 VASA API 接 口 ， 外 部 仓储 设备 注册 到 
vSphere 平 台 后 ， 都 会 通过 VASA 接 口 来 完成 。 对 于 Virtual SAN 也 不 例外 ，Virtual SAN Cluster 配 置 完成 时 ， 这 个 VASA API 接 
口 默认 自动 注册 到 vCenter 环 境 。 但 也 不 排除 有 时 候 会 出 现 无 法 成 功 注 册 的 情况 ， 遇 到 这 种 情况 ， 束 需要 手动 注册 了 。 


手动 注册 Storage Providers 就 是 在 Storage Providers 页 面 下， 手动 添加 新 的 storage Providers， 在 需要 输入 相关 信息 
时 ， 输 入 http://esxi ip: 8080/version.xml 即 可 ， 如 图 7-1 所 示 。 


http J/10.10.10.80:8080/version.xml 


root 


dock ode oko oe 





图 7-1 


当然 ， 一 般 情 况 下 不 需要 这 样 做 。 默 认 情 况 下 ， 每 台 主 机 都 有 自己 的 storage Provider， 如 图 7-2 所 示 ， 只 有 1 个 storage 
Provider 处 于 Active 状 态 ， 其 他 处 于 Standby 状 态 。 


在 Virtual SAN 环 境 中 ，Storage Provider 是 一 个 很 重要 的 组 件 ， 它 用 于 主机 之 间 协 同 工 作 时 的 重要 参考 依据 。Storage 
Provider 也 是 VMware 在 研发 Virtual SAN 时 内 置 的 一 个 兼容 VASA API 的 组 件 ， 默 认 情况 下 ， 创 建 完成 Virtua|l SAN Cluster 并 
把 主机 添加 进来 后 ， 它 会 自动 选择 和 注册 。 


Summary Monitor | Manage | Related Ohjacis 


| Settings | Scheduled Tasks | Storage Prowders | Alarm DefniBons | Tags | Permissions | Sessions 
Storage Providers 


4- A GIrOUp by. | storage provider 


ciorape Provides Sioege System Staus Active/Gtendby "rioriby URL Last Reszan Time WASA API Vemion | Cerificate Expiry 
= YSAN Provider 10.10.10.80 Online I htlps./10.120. 10.80.8082) /versian.. | null 1.5 1322 days 
ysanDatastare (4/4 online) standby 
= VSAM Fravider 10 310.10 50 Online -= - htips:/40.10 10. 50:80830rversion 4/42/2045 2:0 
v«sanDatastore (4/4 online)? Standby 
* VSAM Provider 10 30.10 60 Unine pips 310.10 TU nbrntdivers mn 
v&arLiatastare (4/4 online] 
+ XMSAM Pravider 10. 10.10.70 ne htips-/10.12.10.70:BOSGO'verslan.. 
vsan[iatastore (4/4 online} 


Storage System Detalls 


Names wsanDstastore 

UIC VwSAMN5282dg75ctc184b88-37T2b15c88686835f 
vendor ID VMware Inc 

Modal ID VSAIM 

Firmware 

Alternative names 

aupponed block infertazess 


Supported thls system 
interfaces 





"upporied profile s SInrageOhbjeci Profile 
图 7-2 


在 配置 默认 的 Storage Policy， 尤 其 是 配置 VM Storage Policy 时 ， 这 个 策略 对 于 VsanDatastore 是 不 可 或 缺 的 ， 否 则 


Virtual SAN Cluster 的 默认 VM Storage Policy 是 无 效 的 ， 同 时 也 无 法 手动 结合 Storage Provider 配 置 个 性 化 的 Virtual SAN 


cluster 相关 Virtual Machine 的 Stripe、Mirror、Force Provisioning, Read Cache Reservation 等 信息 。 


在 没有 这 个 Storage Provider 时 ， 如 果 想 要 做 VM Storage Profiles 策 略 ， 束 只 能 选择 另 一 个 更 加 复杂 的 策略 ， 而 无 法 使 用 
VSAN 相 关 的 策略 。 另 一 个 策略 则 是 通过 管理 人 员 为 不 同 对 象 做 Tag， 通 过 不 同 的 Tags 来 形成 策略 组 合 。 换 句 话 说 ， 就 是 定义 目 
标 对 象 的 结构 ， 从 而 实现 策略 化 存储 与 业务 对 象 的 关联 。 


7.2 ”管理 Virtual SAN Clusteriz $8 


Virtual SAN Cluster 的 设备 管理 主要 从 以 下 三 个 方面 来 考量 : 
` 闪存 设备 ; 

: HDD 设 备 ; 

- Disk Group. 


Virtual SAN 6.0 有 一 个 LED indicator 功 能 ， 这 个 功能 ， 可 以 灵活 地 检索 Disk Groups 中 有 故障 的 设备 ， 进 而 轻松 定位 到 故 
障 设备 的 位 置 ， 然 后 无 论 采取 什么 方式， 都 可 对 设备 进行 维护 ， 保 障 Disk Groups 的 可 用 性 。 不 过 ， 这 个 功能 需要 支持 pass- 
through 模 式 的 HBA 卡 ， 因 为 在 RAID0 状 态 下 ， 所 有 的 磁盘 设备 都 被 标识 为 一 个 设备 ， 开 局 LED indicator 功 能 没有 意义 。 这 个 
选项 的 开关 与 否 不 影响 Virtual SAN Cluster 的 正常 运行 。 


某 些 厂 商 的 服务 器 可 能 需要 单独 安装 相关 的 VIB 包 才能 使 用 这 个 选项 ， 如 HP 的 某 些 设备 。 
除了 这 个 功能 可 以 帮助 管理 设备 之 外 ， 还 有 如 下 几 个 更 加 具备 实用 性 的 功能 : 

- 添加 设备 到 Disk Group; 

- 从 Disk Group 移 除 设 备 ; 

: 设置 闪存 Cache; 

设置 闪存 Capacity ; 

- 调整 设备 为 Local 设 备 : 

- 调整 设备 为 Remote 设 备 。 


添加 设备 到 Disk Group 功 能 很 简单 ， 只 需要 找到 Disk Management 页 面 ， 和 直接 选择 Disk Group 一 Add a disk to the 
selected disk group 即 可 ， 如 图 7-3 所 示 。 


Connected 
Connected 





2 m Nds 
ER 


Connected 
Bl] Disk group (00000000007664686261313a313230) 

- [à 10.10.10.80 [4 Connected 
国 Disk group (000000000076546862613132313230) 





从 Disk Group 移 除 设备 相对 麻烦 一 些 ， 因 为 移 除 设备 必然 会 影响 当前 业务 。 所 以 ， 在 选择 移 除 设 备 前 ， 最 好 确保 需要 移 除 
的 设备 所 在 的 Virtual SAN Cluster 处 于 Maintenance Mode， 并 且 选 择 Full data migration， 将 待 移 除 Disk Group 所 在 设备 中 
的 数据 迁 走 ， 规 名 移 除 设备 这 个 动作 对 Performance 和 Business 的 影响 。 完 成 这 个 动作 之 后 ， 就 可 以 移 除 设备 了 。 设 备 的 移 除 
可 以 是 整个 Disk Group， 也 可 以 是 Disk Group 中 指定 的 设备 ， 如 图 7-4 所 示 。 


Data on the disks from Ihe disk group 
"00000000007650686251313a313330" will ba deleted 


Unless the data on the disks is evacuated Arst removing the 





如 果 单 纯 是 从 Disk Group 中 移 除 设 备 ， 可 以 选择 如 图 7-5 所 示 的 界面 。 


Disk Local VMware, Disk (mpx vmhaa1.CO-T1LOY is aboutto be 


removed from the disk group 
700000000007664686261313a313a30* 


Removing he Nash disk will remove the entire disk group 


Unless the data on the disx(s) is evacuated first, removing the 
disk(8) might disrupt working VMs 


[V Evacuate data (0008) € 


Remove disk? 





完成 对 指定 的 闪存 设备 或 HDD 设 备 从 Disk Group 中 删除 的 动作 。 


内 存 Cache 设 置 选项 可 以 为 指定 的 闪存 设备 设 定 Cache 用 途 ， 这 样 一 来 ， 处 理 方案 就 在 Disk Management 中 ， 首 先 将 它 置 
于 Unused 状 态 ， 然 后 将 其 标识 为 内 存 设备 即 可 ， 如 图 7-6 所 示 。 


Disk group (00000000007664686261313a313a30): Disks 


| 10 sho: 


motu Cacecty Virtus! SÀN Health Status Onerational — Transport Type 
| Marks the selected disk(s) 35 remote for the ‘ 
Bn - Loca —— Ue ds „host. [5 as Sp Healthy Mounted Parallel SCSI 





设置 内 存 Capacity 功 能 主要 针对 全 闪存 结构 ， 过 在 同一 个 Disk Management 界 面 下 将 | 闪存 标识 为 HDD 来 完成 。 这 种 
配置 支持 图 形 界面 和 命令 行 界面 两 种 方式 ， 命 令 行 界面 与 图 形 界面 两 种 设 定 方 式 都 请 参考 本 书 “Virtual SAN 主 机 磁盘 准备 ” 章 


+- 
TIo 


F1 Virtual SAN 只 支持 Local Device， 所 以 ， 共 享 存储 设备 在 默认 情况 下 无 法 纳入 Virtual SANAR aane, R 
需要 使 用 ， 按 照 图 7-7 所 示 的 界面 将 磁盘 设备 调整 为 Local 状 态 即 可 。 


Disk group (00000000007664686261313a313430): Disks 


BAG ME Show. 


mero Capaci Virhual SAN Health Status Operational. — Transport Type 


| Marks the selected disk(s) as remote for the ' | e 
IB Local Viware, Disk (mpevmh host. 300GB Healthy Mounted ^ Parallel SCSI 


E ind anai IT eA, 
ed I^ 
» 1 d en. SEL -—— 
1 j P 





相反 ， 如 果 不 希 望 某 个 设备 被 纳入 Virtual SAN ŠA, MRAR T Disk Management 界 面 下 将 其 标识 为 Remote 状 态 
即 可 ， 如 图 7-8 所 示 。 


无 论 是 闪存 设备 、HDD 设 备 ， 还 是 Disk Groups， 都 是 通过 Disk Management 来 处 理 的 ， 不 过 ， 需 要 注意 的 是 ， 上 述 操作 
从 SOPI1] 的 角度 而 言 ， 都 需要 设备 处 于 Not Used 状 态 ， 否 则 后 果 不 堪 设 想 ， 务 必 谨 慎 。 


+ ! » Markthe selected disk(s5) as ramote for tha host? 


i 





[1] SOP 是 标准 [I 技术 语 ， 全 称 为 Standard Operation Processo 


7.3 扩容 Virtual SAN Cluster 


扩容 Virtual SAN Cluster 可 以 通过 以 下 三 个 方面 完成 : 

. 为 Vittual SAN Clustet 添 加 Node Hosts， 直 到 上 限 为 止 ; 

- 为 Disk Gtoups 添 加 磁盘 ， 直 到 满 配 为 止 ; 

- 为 Virtual SAN Cluster Node Hosts 添 加 Disk Groups， 直 到 上 限 为 止 。 
1. 为 Virtual SAN Cluster 添 加 Node Hosts 


按照 前 面 安装 准备 Virtual SAN Cluster 环 节 的 准备 工作 要 求 部 署 新 的 ESXi Hosts 主 机 ， 然 后 ， 将 其 按照 正常 的 操作 流程 添 
加 到 Virtual SAN Cluster 中 。 接 着， 按照 为 主机 添加 Manual Mode Disk Group 的 方式 将 ESXi Hosts 添 加 到 Virtual SAN 
Cluster 中 即 可 。 


2. 为 Disk Groups 添 加 磁盘 


当 每 台 主 机 的 Disk Groups 磁 盘 数 没 达 到 上 限时 ， 可 以 为 其 添加 HDD 磁 盘 数 来 扩容 Virtual SAN Cluster 的 vsanDatastore 空 
间 。 上 有 具体 的 操作 方案 如 下 : 


只 有 为 目标 主机 添加 用 于 扩容 的 HDD 磁 盘 ， 才 能 进行 下 一 步 的 工作 ， 这 是 大 前 提 . 


选中 指定 主机 上 需要 扩容 的 Disk Group， 单 击 图 7-9 所 示 的 Add Disk 选 项 。 


Disk Groups 


za m 


Dusk (20m um Diss am Use ELE EIS Vitusa! SAH Fauli Domain Hebe Pe Desk For 


B] 10.10.10.50 Dord Connected Healthy Group 1 


= A 10.10.10.60 2 of 4 Connected He aithy Group 1 
gp Disk group (000000000076540686261313a313330) Healthy 

- [à 10.10.10.70 Connected Healthy Group 1 
Bg Disk group (0000000000766068626 13133313330) , Healthy 

- pA 10.10.10.80 Connected Healthy Group 1 
gg Disk group (000000000076548688261313a313230) Healthy 


à 
Disk group (00000000007664686261313a313a30); Disks 
show 
Add a disk to the selected disk group Beim — EET Rn [rec — € 


E L | TE "Tree | Flash 30.00 GB Heallhy Mounted Parallel SCSI 
gA Local VMware, Disk (mpx vmhbat-CO:T21 0) HDD 30.00 GB Haeallhy Mounted Parallel SCSI 





图 7-9 


在 弹出 的 Add Data Disks to Disk Group 窗口 中 ， 勾 选 前 面 选 项 添加 加 号 ， 系 统 识 别 到 的 本 地 人 磁盘， 然后 单 击 OK 按钮 ， 
成 对 Disk Group 的 扩容 ， 如 图 7-10 所 示 。 


ail 


select one or many disks lo serye a5 dala disks 


Harme Dre Type Cmpacty Transpor Type 


a 239 Local VMware, Disk (mpxvmhba1:CO T4. L0) HDD 30.00 GB Parallel! SCSI 





图 7-10 


重复 这 样 的 动作 ， 直 到 需要 扩容 的 Disk Groups 的 新 增设 备 全 部 添加 完成 为 止 ， 成 功 扩容 后 ， 在 Disk Group 中 可 以 看 到 设 
备 数量 的 变化 ， 如 图 7-11 所 示 。 
Disk group (000000000076640686761313a313a30): Disks 


23 Show 


Mame L Capsacty Virtual SAN Health Stsbus Operational Tiempo Type 


Local VMware, Disk (mpx vmhbat1. CO. T TLO) 30.00 GB Heaillhy Mounted Parallel SCSI 
G3 Local VMware, Disk (mpx vmhba1 CO T2LO) 30 00 GB Healthy Mounted Parallel SCSI 
ga Local VMware, Disk (mpxvmhba1- CO T4:LO) ID. 30.00 GB Healthy Mounted Parallel SCSI 





图 7-11 


在 Disk Management 中 ， 也 会 看 到 相关 数据 变化 ， 如 图 7-12 所 示 。 


Virtual SAN is Turned ON 
Add disks to storage Manual 
Resources 


Hosts 4 hosts 


Flash disks in use 3 of 8 eligible 


Data disks in use 4 of 8 eligible 
Total capacity of Virtual SAN datastore 118 77 GB 
Free capacity of Virtual SAN datastore 118.77 GB 


Network status v" Normal 





图 7-12 
3.73Virtual SAN Node Host 添 加 Disk Groups 


这 种 扩容 方式 的 大 前 提 是 要 有 足够 的 Disk Groups 构 建 所 需 基础 设备 ， 也 残 是 构建 Disk Group 必 不 可 少 的 闪存 设备 和 HDD 
设备 。 因 此 ， 在 执行 这 个 操作 之 前 ， 需 要 预先 任 ESXi Hosts 准 备 好 必要 的 闪存 设备 和 和 HDD 设备 ， 之 后 ， 才 能 执行 这 个 操作 。 关 
于 这 种 操作 模式 ， 在 基础 设施 准备 完备 之 后 ， 只 需要 执行 前 面 创建 Disk Groups 的 操作 流程 即 可 ， 本 处 不 再 营 述 。 


上 述 3 种 方式 中 的 任意 一 种 ， 都 可 以 完成 对 Virtual SAN Cluster 的 扩容 需求 。 针 对 Virtual SAN Cluster 扩 容 操 作 唯 一 需要 注 
意 的 丈 是 不 要 在 业务 繁忙 时 执行 ， 以 免 影响 活动 业务 系统 的 正 弟 运行 。 


7.4 Maintenance Mode 


为 了 方便 正常 计划 内 的 Virtual SAN Cluster 节 点 、 节 点 设备 维护 ，Virtual SAN 提 供 了 一 个 计划 内 维护 手段 : Maintenance 
Mode， 在 这 种 模式 下 ， 可 以 有 计划 地 将 指定 Virtual SAN Cluster Node Host 进 入 维护 模式 ， 在 进入 维护 模式 前 ， 可 以 将 分 布 
在 这 个 节点 上 的 数据 按 需 处 理 。Virtual SAN Cluster Maintenance Mode 支 持 以 下 3 种 数据 处 理 方式 : 


: Ensure accessibility ; 
: Full data migration; 
: No data migration; 


1.Ensure accessibility 


这 种 模式 下 ，Virtual SAN 需 要 确保 节点 主机 在 关闭 或 者 从 Virtual SAN Cluster 移 除 后 ， 分 布 在 该 节点 上 的 所 有 业务 能 够 正 
常 访问 。 这 种 模式 需要 执行 部 分 数据 迁移 动作 ， 因 为 这 个 节点 本 来 就 存在 一 些 Active 的 数据 ， 所 以 ， 这 种 模式 的 维护 操作 不 会 影 
响 业 务 访问 ， 但 是 需要 时 间 | 执行 数据 迁移 。 这 是 默认 的 Maintenance Mode 选 项 。 

执行 完 部 分 数据 迁移 后 ，VM 的 Compliant Status 会 出 问题 ， 因 为 虚拟 机 的 某 些 Replicas 无 法 访问 。 例 如 ， 当 FTT=1 时 ， 选 
择 该 选项 可 能 会 出 现 数据 丢失 的 情况 。 


通常 ， 在 需要 对 某 些 主机 进行 临时 维护 、 升 级 等 工作 时 ， 建 议 选 择 该 选项 。 
2.Full data migration 


在 这 种 模式 下 ，Virtual SAN 会 将 计划 维护 节点 主机 上 的 所 有 数据 迁 走 。 因 此 ， 这 个 模式 会 产生 大 量 的 数据 迁移 和 存储 资源 
开销 。 在 这 种 模式 下 ， 如 果 存 在 某 些 数据 没有 完全 被 迁移 的 情况 ， 则 主机 将 无 法 进入 Maintenance Mode。 但 是 , 一旦 主机 成 
功 进入 Maintenance Mode， 就 表示 VM 的 Compliant Status 不 会 因为 少 掉 这 台 主 机 而 降级 。 


通常 ， 在 需要 将 主机 永久 性 地 从 Virtual SAN Cluster 移 除 时 ， 建 议 选择 该 选项 。 
3.No data migration 


在 这 种 模式 下 ， 所 有 位 于 这 台 节 点 主机 上 的 数据 不 做 任何 处 理 ， 当 节点 主机 关闭 或 被 从 Virtual SAN Cluster 移 除 后 ， 其 中 
的 数据 都 会 无 法 使 用 。 


4.Maintenance Mode 操 作 实 例 
单 击 图 7-13 所 示 的 Enter Maintenance Mode 选 项 。 


打开 图 7-14 所 示 的 Confirm Maintenance Mode 界 面 ， 选 择 上 述 三 种 数据 处 理 方 式 之 一 后 单 击 OK 按 钮 。 


summary Monitor | Manage | Related Objects 
| Setings | Scheduled Tasks | Alarm Definitions Tags | Permissions 
| | 


44 Disk Groups 
v Senvdices ; e ; 
da BE ^ 
v5phere DR5 


= 二 - A -— : z s 
insk Liens ML KI isis Virtus TNE Sult iomain Me tie Farti 


vSphere HA g 10 10 10.50 Enter Maintenance Mode ted Healthy Group 1 
v Virtual SAN » [3 10101060 — 3of4 Connected Healthy Group 1 


General » [d 10.10.1070 zold Connected Healh; Group 1 


» [4 10.10.10.80 2014 Connected Healthy Group 1 


Fault Domains 





图 7-13 


A nostin maintenance mode does not perform any actmities on virtual machines 
including virtual machine provisioning. The host configuration is still enabled. The 
Enter Maintenance Mode task does not complete until the above state is 
completed. You might need to either power off or migrate the virtual machines 
from the nost manually. Y óu can cancel the Enter Maintenance Mode task at any 
time. 
A There are hosts in a Virtual SAN duster. Once the hosts are removed from tne 
duster. they wil! not have access to the Virtual SAN datastore and the state of 
any virtual machines on that datastore 


iv Move powered-off and suspended virtual machines to other hosts in the 
duster 


Virtual SAN data might reside on the hosts In a Virtual SAN cluster. Select an 
option fto set the migration mechanism for the Virtual SAM data that will be 
enforced Before the hosts enter maintenance moda. 


Virtual SAN data migration: Ensure accessibility 


| | Ensure accessibility 
Put the selected hosts in maintenance 
| Full data migration 


| No data migration 





图 7-14 


Maintenance Mode 选 项 用 于 对 Virtual SAN Cluster Node Hosts 进 行 维护 时 的 数据 访问 、 可 用 性 的 处 理 方 式 。 是 一 种 比 
较 合 适 的 计划 内 Cluster 维 护 方案 。 


7.5 Fault Domains 管 理 


Fault Domainz&Virtual SAN 6.0 的 功能 ， 它 的 工作 逻辑 用 一 句 话 概括 惑 是 : 将 Virtual SAN Cluster 的 节点 主机 分 布 在 不 同 
的 机 架 或 者 刀片 中 心 ， 然 后 以 每 个 FD 为 单位 来 识别 Virtual SAN Cluster Nodes， 进 而 帮助 规避 鸡蛋 都 在 同一 个 篮子 里 的 问题 。 
详细 情况 前 面 已 经 前 述 过 了 。 


1. 创 建 Fault Domain 


构建 Fault Domain 比 较 简 单 。 完 成 Virtual SAN Cluster 的 基础 构建 之 后 ， 在 图 7-15 所 示 的 界面 创建 新 的 Fault Domain, 
在 Virtual SAN 一 Fault Domains 一 Create a new fault domain 中 输入 Fault Domain 名 称 ， 如 FD01» 选 择 要 添加 到 这 个 FD01 
中 的 主机 ， 单 击 OK 按 钮 即 可 。 每 个 Fault Domain 中 可 以 有 一 台 或 一 台 以 上 的 主机 。 
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Virtual SAN Cluster Fault Domains 
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vSphere HA 
v Virtual SAN Fault Comin Hos 
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Disk Management I] 10.10.10.50 














Fault Domam:s | 网 10.10.10. 80 


图 7-15 


进入 下 一 个 窗口 ， 勾 选 主机 选项 ， 单 击 OK 按 钮 。 


Mame. F001 


celect he hoste to move into this faut domain. 








Show | Hosts not in fault domains wi] | a Filter 











RA] "os raul Domain 
LJ] Bj 10.10.10.50 
C [3 101010560 


(d 1010.10.70 
[4 10.10.10.80 


4items | 





| Cancel | | 


图 7-16 


重复 这 样 的 动作 后 会 发 现 ， 由 于 Fault Domain 在 启用 之 后 ， 会 被 看 作 Virtual SAN Cluster 的 节点 对 象 ， 所以， 最 少 也 要 求 
有 3 个 Fault Domains， 最 佳 是 4 个 。 因 此 需 要 重复 这 样 的 动作 ， 完 成 最 少 3 个 Fault Domains 的 创建 ，FD 结 果 如 图 7-17 所 示 。 


Virtual SAN Cluster Fault Domams 


You can group Virtual SAN hosts that could potentially fail together by creating a fault domain and assigning one or more hosts to iL Failure of all hosts within a single fault damain is 
treatad as ana laiture. Hf taul domains are specifiad Virtual SAN will never put mora man one replica of the same omad in tha sama fault domain 


二 一 至 Q Fits 


Faul Domain Host 
Hosts not in faun domain (0 hosts) 
FDO4 (1 host) 

FDO1 (1 host 
FDO2 (1 host) 
FDO (1 host) 





图 7-17 


2. 为 Fault Domain 增 加 主机 


已 经 创建 完成 的 Fault Domain ， 可 以 按 需 增加 新 的 主机 数 。 选 定 想 要 增加 主机 的 Fault Domain， 然 后 选择 Move hosts 
into selected fault domain, ， 如 图 7-18 所 示 ， 在 弹出 的 窗口 中 选择 主机 。 


Virtual SAN Cluster Fault Domains 
You can group Virtual SAN hosts that could potentially Tail together by creating a faull domain and assigning one or more hosts to it Failure of all hosts within a single faul domain is 
treated as one failure. If fault dómains are specified, virtual SAN will never put more than one replica of the same object in the same fault domain 


+ [s] x -EC a 


ia - - Move hosts into selected fault domain 
FD04 (1 host) 
FD01 (1 hosi) 
FO (1 hos!) 


FD03 (1 hosi) 





图 7-18 


3. 为 Fault Domain 更 名 


如 果 需 要 之 前 的 Fault Domain 名 称 ， 只 需要 单 击 图 7-19 所 示 的 图 标 即 可 更 名 。 


'irtual SAN Cluster Fault Domains 
You can group Virtual SAN hosts that could potentially fail together by creating a ull domain and assigning one or more hosts tà it Failure of all hosts within a single fault domain is 


treated as one failure. If fault domains are specified, Virtual SAN will rever put more than one replica of Ihe same object in the same fault domain 


L utr 


+ x EC 


Fault Domar 


Rename seleted Fault domain 
Höst rial i novara ron reme 


FD04 (1 host) 
FD01 (1 host) 
FDO?2 (1 hast) 
FD03 (1 host) 





图 7-19 


4. AJ Fault Domain 移 除 主 机 


在 Fault Domain 中 选中 需要 移 除 的 主机 ， 然 后 选择 如 图 7-20 所 示 的 界面 中 的 Move hosts into or out of fault domain 选 


irtual SAN Cluster Fault Domains 


You can group Virtual SAN hosts that could potentially fail together by creating a fault domain and assigning one or more hosts to it Failure of all hosts within a single fault domain is 
treated as ona failure. If fault domains are specified, Virtual SAN will never put more than one replica of tha same abject in tha same fault domain. 


€(&) -=se (a. Fite: 
Fall Damal — 


Move hosts into or out af fault domain 
- HOSTS fe | 


B] 10.10.10.50 


+ FDO111hosl) 
F 10.10.10.60 

= FDOZ (1 hosi) 
(A 10.10.10.70 

= FD03(1hosl) 
A 10.10.10.80 
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打开 图 7-21 所 示 的 界面 ， 选 择 Move out of fault domains， 单 击 Yes 按 钮 确认 移 除 即 可 。 


_ 目 10.10.10.60 - Move Host 


Move tha selected hosts into another fault domain or move them out of fault domains. 


\ Move to another taulit domain 


(a) Move out of fault domains 


^ The selected hosts will no longer be a part of any fault domain. 





图 721 


5. 移 除 Fault Domain 


移 除 Fault Domain 很 简单 ， 选 中 图 7-22 所 示 的 Remove selected fault domain 即 可 。 


Virtual SAHN Cluster Fault Domains 


You can group Virtual SAM Mosis that could potenbally fail tà gemer by creating a taul domain and assigning one or more h 


öëts to iL Failure of all hósts within a single aul domain r$ 
treated as one fadure. f taulit domains are specified, virtual SAN will never put more man one replica of fie same object in me samea fault domain 


+ | 四 可 xl 一 人 e 


Hosts not in faut, eroe SCI Cn 
t FDO4(1hosti) 
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t FDUZi1host 





+ FDO3(1host 
图 7-22 


注意 : 移 除 Fault Domain 之 前 ， 请 确保 没有 以 Fault Domain 方 式 进行 策略 分 配 ， 人 否则， 贸然 移 除 可 能 会 市 来 不 可 预知 的 风 
险 ， 降 低 Virtual SAN 的 可 用 性 等 级 。 


7.6 Storage Policy-Based Management 概 念 


Storage Policy-Based Management 是 Virtual SAN 中 最 核心 的 组 件 ， 它 是 以 策略 的 形式 ， 根 据 用 户 需 求实 现 灵活 的 对 象 
数据 分 布 、 安 全 级 别 等 功能 ， 这 一 点 极 大 程度 上 不 同 于 传统 的 集中 存储 的 工作 模式 。 


7.7 VM Storage Policies 深 度 解 析 


VM Storage Policies 是 整个 对 象 存 储 的 精华 ， 因 此 本 忆 将 对 它 进行 深度 解析 。 在 Virtual SAN 中 ， 它 暂时 支持 下 列 几 个 功 


dur 
GG 


: Number of failures to tolerate ; 

: Number of disk stripes pet object; 
* Force provisioning; 

: Object space reservation (9) ; 


- Flash read cache reservation (96) 。 


3 LR RRIA BRANE T 327315, fBt&nTLAASEH ZEE, ARIBIBSEB TS SS CHARTSIBSTEBESR SU. e AERE 
块 分 布 区 域 。 


下 面 分 别 曾 述 上 述 策略 的 适用 场景 。 
1.Number of failures to tolerate 


Number of failures to tolerate 简 称 FTT， 它 的 数量 通过 Replica 数 量 决定 了 对 象 的 可 用 性 级 别 ， 它 与 主机 、Replica 以 及 组 
件 相关 的 天 系 如 表 7-1 所 示 。 


FTT 的 最 大 值 为 3， 即 对 象 最 多 可 以 有 4 份 Replicas。 





A 74 
Number of failures to P 满足 对 象 可 用 性 
tolerate icm 所 需 组 件数 
1 LOB 


pa 


3 * Replicas + 2 Witness 3 个 组 件 
4 * Replicas + 3 Witness 4 个 组 件 


3 2 * Replicas + 1 Witness 2 个 组 件 





2.Number of disk stripes per object 


这 个 选项 将 决定 对 象 的 RAID0 由 多 少 Stripes 构 成 ，Stripes 的 最 大 值 为 12， 最 小 值 为 1。 这 个 参数 能 够 起 到 的 作用 是 两 个 极 


Wm, DANE: 
X PE AE Hp HB; 
. 最 糟糕 可 人 靠 性 。 
当 这 个 参数 被 设 定 为 12 时 ， 你 可 以 想象 一 下 RAID0 级 别 对 于 磁盘 的 要 求 会 非常 恐怖 。 


但 是 ， 无 可 人 否认 的 是 这 个 参数 可 以 帮助 我 们 将 一 份 完整 的 数据 分 散 到 不 同 主机 、 不 同 Disk Groups 和 不 同 磁盘 上 ， 这 样 在 对 
数据 进行 读 写 时 ， 由 于 分 散人 在 不 同 的 磁盘 上 ， 残 可 以 分 别 利用 不 同 磁盘 的 IOPs 输 出 ， 性 能 是 显而易见 的 。 


不 过 ， 这 个 选项 越 大 ， 对 象 的 数量 越 多 ， 在 配合 FTT 参 数 时 ， 尤 其 如 此 。 下 面 通过 例子 进行 说 明 。 
例子 01: Stripe=12、FTT=0。 


这 种 情况 下 不 会 出 现 Replica， 此 时 理论 上 整个 Cluster 中 需要 12 个 物理 设备 。 在 4 节点 情况 下 ， 意 味 着 每 台 主 机 理论 上 应 该 
具备 3 个 磁盘 ， 这 样 才能 承载 VMDK 对 象 对 Stripe 的 要 求 。 不 过 ， 在 极 问 情况 下 ， 这 些 磁盘 要 求 可 以 集中 在 同一 台 主 机 上 。 


例子 02: Stripe=12、FTT=1。 


这 种 情况 下 每 个 对 象 至 少 要 有 一 个 Replica， 这 对 物理 设备 数 的 要 求 束 高 了 。 因 为 ， 至 少 要 有 一 个 Replica， 所 以 在 4 节点 的 
情况 下 ， 每 人 台 主 机 对 物理 磁盘 数 的 要 求 大 大 超过 例子 01。 在 4 节点 情况 下 ， 理 论 上 每 节点 12 个 物理 设备 是 最 合适 的 ， 这 样 可 以 用 
2 个 节点 做 一 个 Replica， 一 个 节点 做 Witness， 剩 下 一 个 节点 还 能 分 担 一 部 分 Replica 或 Witness 的 承载 。 


不 过 ， 如 果 是 4 台 主 机 的 硬件 设备 总 数 加 起 来 不 超过 24 个 ， 那 惑 悲 剧 了 .… 
例子 03: Stripe=12、FTT=1。 


这 个 例子 与 例子 02 有 些 区 别 ， 主 要 在 于 4 节点 情况 下 ， 每 个 节点 都 有 2 个 设备 ， 此 时 ， 如 果 能 够 让 某 些 Stripe 跑 到 同一 台 主 机 
上 ， 理 论 上 是 可 以 继续 部 署 的 。 但 是 ， 在 这 种 情况 下 ， 由 于 拥有 的 设备 总 量 为 2*4=8， 所 以 ， 此 时 除非 启用 Force Provisioning 
策略 ， 否 则 无 法 部 署 应 用 这 条 策略 的 对 象 ， 此 时 系统 会 弹出 设备 磁盘 数 不 够 的 错误 提示 。 


因此 ， 此 时 系统 要 求 至 少 12 块 盘 ， 而 4 人 台 主 机 只 有 8 块 盘 ， 也 惑 是 说 ， 无 法 满足 Stripe 对 磁盘 设备 的 要 求 ， 尤 其 是 在 FTT=1 的 
情况 下 。 


需要 注意 ， 对 应 的 策略 会 对 设备 数量 有 要 求 ， 而 Force Provisioning 也 不 是 万 能 的 。 因 此 ， 再 次 强调 一 点 : 规划 比 事实 更 重 


例子 04: Stripez4, FTT=1, 


在 这 种 情况 下 ， 每 个 对 象 至 少 要 有 一 个 Replica， 对 应 Stripe 为 4， 就 是 说 数据 会 被 分 割 成 4 份 ， 在 2 个 Replicas 与 一 个 
Witness 的 前 提 下 ，4 蔬 点 物理 硬件 的 思量 要 求 会 去 到 至 少 每 台 主 机 1 个 。 


不 过 ， 如 果 考 虑 有些 Stripe 运 行 在 同一 台 主 机 ， 那 么 ， 对 于 每 台 主 机 的 硬件 设备 数量 要 求 残 省 事 儿 了 。 
在 这 种 结构 下 ，Replica 与 Stripe 的 分 布 关系 如 表 7-2 所 示 。 


表 7-2 是 在 4 证 点 情况 下 的 拉 u 述 ,注意 ， 在 3 节操 的 情况 下 ， 将 会 是 另 一 种 情况 。 由 于 在 3 证 点 情况 下 ，Stripe 对 设备 的 要 求 无 
法 满足 ， 当 某 证 点 死 挥 时 ， 对 象 跟着 死 挥 的 概率 远 远 大 于 4 节点 ， 因 此 ，4 节 点 是 笔者 推荐 的 标准 大 小 。 


表 7-2 


, | 


3.Force provisioning 


IOTER FARENDA E Stripe TTR RKT, EARR TE VMSXIERBUMIS, WÜERIRRH I €, WORK 
管 是 


寿 不 管 是 售 满 足 compliance 要 求 ， 都 痉 试 强行 执行 对 象 部 署 。 


4.Object space reservation (96) 


这 个 选项 是 针对 空间 的 预 留 ， 默 认为 0， 也 就 是 不 预 留 。 当 然 ， 这 个 预 留 的 价值 不 太 大 ， 所 以 该 选项 为 0。 当 该 选项 为 0 时 ， 
针对 对 象 部 署 产 生 的 所 有 VMDK 寺 象 的 模式 将 类 似 Thin Provisioning 的 模式 。 


5.Flash read cache reservation (96) 


这 个 选项 针对 闪存 的 Read Cache 的 预 留 ， 默 认为 0， 如 非 必 要 ， 这 个 选项 可 以 不 设 定 ， 因 为 设 定 了 它 束 意味 着 无 论 闪存 是 
E, 是否 足够 ， 这 部 分 的 预 留 空间 都 必须 预 留 出 来 。 


dim 


合用 


以 上 是 关于 策略 部 分 的 入 单 应 用 讨论 。 当 然 ， 策略 相 关 的 组 合 干 变 万 化 ， 这 里 不 再 一 一 配对 讨论 ， 仪 讨论 基础 部 分 的 功能 ， 
ez UL, 


7.8 ”为 对 象 更 性 VM Storage Policies 


vSphere Web client 登录 到 vCenter 后 ， 单 击 Home 一 Monitoring 一 VM Storage Policies， 如 图 7-32 所 示 。 
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图 7.32 


可 以 看 到 相关 的 策略 条 目 ， 选 择 需 要 编辑 的 策略 ， 单 击 Actions 一 Edit Settings， 如 图 7-33 所 示 。 
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图 7-33 





例如 ， 本 例 中 的 Number of disk stripes per object 选 项 ， 将 它 从 1 改 为 2， 然 后 单 击 图 7-34 中 的 OK 按钮 ， 即 可 完成 更 改 。 


策略 更 改 完成 后 ， 系 统 会 弹出 警示 ， 提 示 到 底 是 立刻 执行 还 是 等 会 儿 再 执行 。 


元 成 更 改 之 后 ， 对 象 目 动 根据 变动 后 的 策略 调整 。 本 例 中 ， 对 象 从 原本 的 一 个 Stripe 变 成 两 个 ， 至 于 时 间 长 度 ， 还 由 具体 的 


网 络 情况 而 定 ， 网 络 情况 越 好 速率 越 高 ， 反 之 ， 有 可 能 一 直 处 于 Not Compliant 状 态 。 
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图 734 


7.9 JjXJ£jl3sEZ3nVM Storage Policies 


面向 对 象 和 存储 最 大 的 优势 在 于 它 可 以 随时 、 按 需 调整 对 象 的 可 用 性 级 别 以 及 其 他 参数 ， 调 整 方式 比较 简单 。 新 增 策略 之 后 ， 
可 以 直接 采取 如 下 方式 : 右 击 需要 调整 策略 的 对 象 ， 选 择 VM Policies 一 Edit VM Storage Policies， 如 图 7-35 所 示 。 
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图 7-35 


在 VM storage policy 下 拉 列 表 中 选择 预先 创建 好 的 新 的 Policy， 如 图 7-36 所 示 ， 单 击 右边 的 Apply to al 按钮， 再 单 击 OK 
按钮 ， 即 可 更 改 指 定 对 象 的 策略 。 
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图 7-36 


71.10 Z&FBVirtual SAN 


如 果 想 要 禁用 Virtual SAN， 只 需要 遵循 vSphere Web Client 管 理 界面 下 找到 Manage 一 Settings 一 Virtual 
SAN 一 General 一 Edit， 取 消 选 中 Turn On Virtual SAN 选 项 即 可 ， 如 图 7-37 所 示 。 


[ ] Turn ON Virtual SAN 


Cancel | 





图 7-37 


但 是 ， 需 要 明日 一 点 的 是 ， 禁 用 这 个 功能 虽然 不 一 定 会 导致 数据 丢失 ， 但 是 会 导致 业务 系统 全 部 故障 ， 因 此 ， 这 个 选项 应 该 
谨慎 使 用 。 


禁用 Virtual SAN 选 项 之 后 ， 可 以 看 到 图 7-38 所 示 的 Virtual SAN Cluster 状 态 。 


(1) General 界 面 如 图 7-38 所 示 。 
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图 7-38 


(2) Disk Management 界 面 如 图 7-39 所 示 。 
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图 7-39 


(3) Fault Domains 界 面 如 图 7-40 所 示 。 
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Ej 7-40 
上 述 几 个 Virtual SAN 相 关 的 界面 全 部 变 成 了 灰色 、 不 可 操作 的 状态 。 


此 时 在 vsanDatastore 中 无 法 创建 任何 新 的 对 象 ， 原 有 的 业务 也 无 法 继续 运行 ， 如 图 7-41 所 示 。 
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E 7-41 


尝试 创建 新 的 对 象 时 ， 系 统 会 出 现 类 似 图 7-42 所 示 的 错误 提示 。 
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图 7-42 


Storage Providers 界 面 也 只 能 看 到 如 图 7-43 所 示 的 情况 。 
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图 7-43 
所 有 的 Provider 都 失效 。 
Qu 


4* RF] Virtual SAN Clustet 不 会 导致 数据 丢失 ， 而且 被 禁用 后 的 Virtual SAN Clustet 中 的 相关 设备 也 无 法 使 用 ， 需 要 初始 化 后 才能 
使 用 。 


7.11 本 童 小 结 


Virtual SAN Clustet 维 护 涉 及 方方面面 ， 主 要 内 容 如 下 : 
: Disk Group 4P ; 
- SPBM RAHI ; 
- Fault Domain 维护 ; 
: Virtual SAN Host 节 点 维护 ; 
- vsanDatastote 2E 4? ; 
: Maintenance Mode i£ fi - 


JP, SPBM 9f. Maintenance Mode 很 重要 ， 因 为 这 两 部 分 都 会 影响 到 数据 ， 尤 其 是 SPBM 策 略 ， 任 何 针 对 这 个 策略 的 调 
整 ， 都 会 引发 所 有 针对 这 个 策略 对 象 的 Resync。 


因此 ， 在 尝试 进行 相关 维护 前 ， 尽 量 保 证 不 是 在 业务 繁忙 的 时 候 ， 以 免 影响 业务 正常 运行 。 


A8 升级 Virtual SAN Cluster 


章节 概要 
本 章 的 核心 内 容 如 下 : 
- 升级 Virtual SAN Clustet 时 的 注意 事项 ; 
- 升级 Disk Format 时 的 情况 说 明 。 
升级 Virtual SAN Clustet 的 核心 还 是 升级 它 的 载体 vSphefe。 主 要 的 升级 对 象 如 下 : 
”VCentet Server; 
- ESXi Hosts; 


: Virtual SAN Disk Formato 


8.1 升级 前 的 准备 工作 


任何 升级 ， 准 备 工作 都 是 必 不 可 少 的 ， 升 级 Virtual SAN 环 境 前 的 准备 工作 如 下 : 

确认 软 硬 件 版 本 、 了 驱动 与 即将 升级 到 的 新 版 本 兼容 ， 通 过 查询 VCG 可 以 解决 这 个 问题 ， 地 址 见 附录 ; 
确认 对 所 有 VMs 做 好 了 数据 保护 工作 ; 

. 确认 升级 所 需 的 空间 准备 已 经 完善 ; 

:确认 所 有 升级 所 需 的 软件 信息 已 经 准备 好 ; 

- 确认 升级 所 需 的 License 已 经 准备 好 ; 

` 确认 升级 所 需 的 停机 时 间 已 经 准备 好 ，; 

. 确认 针对 主机 的 升级 顺序 规划 已 经 完善 ; 

- 确认 相关 升级 失败 回 滚 计划 可 行 ; 


: 确认 升级 的 时 间 窗 口 已 完备 。 


8.2 vCenter Server 和 ESXI Hosts 升 级 


由 于 本 书 的 重点 是 Virtual SAN ， 所 以 关于 vCenter Server 的 升级 ， 请 查看 vSphere Upgrade 官 方 文档 中 关于 vCenter 的 部 


分 ， 详 情 查 看 附录 。 


ESXi Hosts 的 升级 相对 简单 ， 只 需要 下 载 !SO， 然 后 在 安装 过 程 中 选择 升级 安 准 即 可 。 更 多 详细 内 容 请 查看 vSphere 
Upgrade 官 方 文档 中 关于 ESXi Host 的 部 分 ， 详 情 见 附录 。 


8.3 Virtual SAN Disk Format 升 级 


前 文 介绍 过 ，Virtual SAN Disk Format 有 v1 和 v2 两 个 版 本 ，v1 是 5.5 中 的 ，v2 是 6.0 出 现 的 ， 随 着 Virtual SAN 的 发 展 ， 可 
能 还 会 出 现 vV3、v4、vX 等 。 因 此 ， 涉 及 Virtual SAN Disk Format 部 分 ， 也 会 有 升级 相关 的 考量 。 


目前 ， 从 v1.0 升 级 到 v2.0 需 要 消耗 一 些 时 间 ， 因 为 RVC (Ruby vSphere Console) 一 次 只 能 升级 一 个 Disk Group， 所 以 ， 
要 完成 所 有 的 Disk Groups 升 级 ， 需 要 不 断 地 结合 Maintenance Mode 进 行 数据 迁移 ， 进 而 保障 在 升级 Virtual SAN Disk 
Format 时 ， 业 务 与 数据 可 用 。 以 VCSA 为 例 ， 这 个 RVC 内 置 于 VCSA 中 。 


在 升级 过 程 中 ， 可 以 通过 Virtual SAN 提 供 的 Resyncing Components 来 查看 升级 状态 ， 如 图 8-1 所 示 。 
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图 8-1 


由 这 个 组 件 可 以 看 到 当前 处 于 活动 状态 的 进程 ， 一 旦 成 功 完成 升级 ， 在 图 8-1 中 的 Resyncing components, Bytes left to 


resync, ETA to compliance 几 个 选项 都 将 显示 为 分 割 线 。 


完成 升级 之 后 ， 可 以 看 到 Disk Format Version 信 息 都 为 2， 如 图 8-2 所 示 。 
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具体 的 Virtual SAN Disk Format 升 级 命令 如 下 : 
SVSAN.v2 ondisk upgrade -help 


升级 参数 如 图 8-3 所 示 。 
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图 8-3 


XT RVC For Virtual SAN 的 更 多 详细 用 法 ， 请 查看 附录 。 


8.4 本章 小 结 


单纯 升级 本 身 ， 其 实 没 太 多 要 讲 的。 本章 的 主要 难点 是 Virtual SAN Disk Format 部 分 ， 因 为 涉及 RVC， 所 以 相对 复杂 一 些 。 


其 他 的 升级 准备 参考 常规 逻辑 操作 即 可 。 需 要 注意 的 是 ， 升 级 的 常规 逻辑 是 不 能 少 的， 合理 的 升级 顺序 和 业务 准备 ， 都 是 需 
要 考虑 的 。 

个 人 的 建议 是 针对 需要 升级 的 对 象 ， 结 合 vSphete 的 其 他 功能 组 件 ， 进 行业 务 迁 移 、 数 据 备份 等 操作 ， 以 保证 升级 的 可 靠 

性 。 


还 应 该 做 好 升级 失败 的 回 滚 预 案 ， 否 则 一 旦 升级 失败 ， 又 没有 回 滚 预案 ， 对 于 业务 系统 而 言 是 灾难 性 的 。 在 升级 中 ， 数 据 完 
整 性 也 是 很 重要 的 考虑 因素 。 


第 9 音 ”简单 鉴 控 Virtual SAN Cluster 


章 万 概要 
本 章 的 核心 内 容 如 下 : 
- 针对 Virtual SAN Cluseter 的 健康 状态 监控 组 件 ; 
- Virtual SAN Health Status Alatms 插 件 ; 
: RVC 的 使 用 方式 ; 
- VSAN OPbservet 组 件 对 于 Vittual SAN 的 监控 用 途 ; 


: vRealize Operations Manager 监 控 。 


9.1 Virtual SAN Cluster 入 蛙 监 控 


针对 Virtual SAN Cluster 的 监控 ， 可 以 通过 vSphere Web Client 管 理 界面 下 的 Monitor 页 面 来 完成 ， 如 图 9-1 所 示 。 但 是 这 
个 界面 的 功能 是 很 粗糙 的 ， 只 能 查看 一 些 简单 的 东西 ， 没 法 查看 到 更 多 的 信息 ， 如 闪存 工作 状态 、HDD 状 态 以 及 其 他 的 状态 。 
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图 9-1 
Virtual SAN 6.0 系 统 定义 了 以 下 几 条 天 于 Virtual SANBSAlarms: 
: Expired Virtual SAN time-limited license; 
: Registeration/unregisteration of a VASA Vendor provider on a Virtual SAN hosts failed; 
: Expired Virtual SAN license; 
: Error occurred on the disk (s) ofa Virtual SAN host. 
述 几 条 从 字面 意思 可 以 看 出 是 针对 单 规 的 Virtual SAN 全 局 层面 的 一 些 简单 告警 支持 ， 并 不 具备 全 面 的 监控 服务 支持 。 


不 过 ，VMware 也 提供 一 些 自 定 义 的 VOBs (VMkernel Observations) 。 利 用 这 些 VOBs， 可 以 对 不 同 侧重 点 的 对 象 进行 
Alarms 定 义 ， 例 如 : 


: esx.problem.vob.VSAN.lsom.diskerror; 


: esx.problem.vob. VSAN.pdl.offline ; 
: esx.problem.vob. VSAN.Isom.componentthreshold ; 
: esx.problem.vob. VSAN.clusteting.disabled ; 
: esx.problem. VSAN.Isom.congestionthreshold ; 
: esx.problem. VSAN.net.not.ready ; 
: esx.problem. VSAN.net.redundancy.lost ; 
: esx.problem. VSAN.no.netwotk.connectivity ; 
* esx.problem. VSAN.vmknic.not.ready o 
这 些 VOBS ID 都 可 以 帮助 定义 一 些 天 键 性 的 警报 。 


需要 提醒 的 是 : 每 个 VOBSs 警 报 都 有 一 个 特有 的 ID ， 所 以 在 通过 vCenter 创 建 自 定 义 警 报 前 ， 需 要 确认 对 应 警报 的 VOB ID, 
可 以 将 这 部 分 特有 的 警报 添加 到 ESXi 中 的 vobd.log 文 件 中 。 


1. 查 看 vsanDatatore 的 概要 信息 


Virtual SAN 最 后 的 输出 结果 就 是 一 个 vsanDatastore， 这 个 vsanDatastore 的 监控 状态 显得 尤其 重要 。 针 对 它 的 监控 ， 可 以 
通过 vSphere Web Client 登 录 到 vCenter， 单 击 Storage 标 签 ， 可 以 看 到 Datatore 清 单 中 的 vsanDatastore， 选 中 它 ， 单 击 
Summary 标 签 ， 可 以 看 到 类 似 图 9-2 所 示 的 vsanDatastore 统 计 信息 。 


日 vsanDatastore | Actions = 


| Summary | Monitor Manage Related Objects 


vsanDatastore STORAGE FREE: 338.48 GB 


Tvpa' VRAN 
Tee. Hem USED- 109.27 GB CAPACITY: 447.75 G 


Refresh 


URL ds J/vmfs/volumes/vsan: 525e246fd7e9d]76b-7 cB7 ce4d93a74045/ 


+ Details O |* Tags 


ds JlvmfsivolumesNsan:-525e24b6fd Assigned Tag Category 
7TaeO9d76b-7c87ce4d93a74849/ 


Location 
[his list is empty 


Type vsan 
Hosts a 


Virtual machines 2 





图 92 


在 图 9-2 中 ， 可 以 看 到 这 个 vsanDatastore 的 当前 总 体 空 间 的 大 小 和 已 使 用 的 空间 。 在 Details 部 分 ， 可 以 看 到 它 的 文件 系统 
类 型 、 主 机 数量 和 存放 在 其 上 的 虚拟 机 数量 


2. 监 控 vsanDatatore 的 健康 状态 


如 果 要 通过 vSphere Web Client 查 看 vsanDatastore 的 健康 状态 ， 可 以 在 9.1.1 章 节 描 述 路 径 的 Inventory 窗 口中 单 击 


Monitor 标 签 一 lssues 一 All lssues， 如 图 9-3 所 示 。 


Eme Bean ti uan 2] Related Obedhs 


| 





图 9-3 


图 9-3 中 的 All lssues 显 示 当 前 VsanDatastore 的 Alarms 情 ; 况 ， 如 果 没 有 ， 自 然 就 是 正常 状态 了 ， 而 如 果 有 问题 ， 就 会 将 
Alarms 体 现在 这 里 。 这 个 功能 由 Virtual SAN Health Status Plugin 提 供 ， 在 更 早 的 VSAN 版 本 中 没有 这 个 功能 。 


3. 监 控 VSAN Disk 的 健康 状态 


Virtual SAN Cluster 节 点 主机 所 有 磁盘 输出 的 统一 结果 就 是 vsanDatastore， 也 就 是 说 这 些 节点 主机 上 的 磁盘 ， 就 是 构成 
VSAN 的 重要 组 件 ， 如 果 它 们 大 批量 损坏 ， 残 表示 系统 故障 甚至 可 能 朋 溃 。 因 此 ， 管 理 人 员 也 需要 了 解 如 何 通过 vSphere Web 
Client 查 看 VSAN Disks 的 健康 状态 。 


f£vSphere Web client 界面 下 ， 单 击 Home 一 Hosts and Clusters 一 Datacenter 一 Cluster 一 Manage 一 Settings 一 Virtual 
SAN 一 Disk Management， 打 开 如 图 9-4 所 示 界 面 。 


在 图 9-4 中 ， 如 果 看 到 红色 的 感叹 号 ， 就 表示 当前 这 人 台 主 机 上 的 Disk Group 中 的 磁盘 出 现 问题 ， 对 应 的 ， 它 的 Status 也 会 显 
示 为 Unhealthy， 这 通常 意味 着 要 么 闪存 盘 出 现 故 障 ， 要 么 是 所 有 的 空间 磁盘 坏 掉 ， 此 时 就 要 排查 问题 ， 然 后 更 换 相 应 的 设备 ， 
迅速 恢复 服务 级 别 。 


4. 监 控 VM Objects 的 健康 状态 


VSAN cluster 中 的 所 有 事物 都 是 以 对 象形 陈仓 在 ， 这 也 融 是 为 什么 习惯 把 这 个 类 型 的 仓储 叫 作 对 象 存 储 的 缘故 。 在 VSAN 
中 最 大 的 对 象 束 是 虚拟 机 ， 虚 拟 机 的 文件 构成 ， 前 文中 已 经 介绍 过 了 。 同 样 ，VM Objects 的 健康 状态 监控 也 是 很 重要 的 ， 因 为 
每 一 个 VM 都 代表 着 一 个 业务 ， 如 果 它 出 现 故 障 ， 丈 意味 着 这 个 业务 暂时 性 或 者 永久 性 中 断 。 
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查看 它 的 状态 可 以 在 Inventory 中 选中 VM 对 象 ， 单 击 Manage 一 VM Storage Policies， 可 以 看 到 类 似 图 9-5 所 示 的 状态 ， 
这 是 一 种 非 党 典型 的 非 致命 性 故障 状态 。 


当 虚 拟 机 对 象 出 现 图 9-5 所 示 的 Non Compliant 和 Degraded 状 态 时 ， 融 意味 着 严重 的 问题 ， 一 定 是 出 现 IMO Controller 或 
内 存盘 故障 等 情况 ， 此 时 ， 系 统 会 立刻 激活 应 急 处 理 机 制 ， 执 行 resynchronize 动 作 ， 以 便 恢复 Compliant 状 态 。 


而 出 现 图 9-6 所 示 的 Absent 状 态 时 ， 并 不 会 立刻 触 友 系统 的 应 急 啊 应 措施 ， 系 统 会 在 60 分 钟 后 再 啊 应 ， 因 为 这 个 问题 不 是 致 
命 的 。 
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9.2 ”创建 针对 VSAN 的 Alarms 


在 没有 使 用 统一 监控 平台 vRealize Operations Manager for VSAN 的 情况 下 ， 如 果 想 要 快速 、 低 成 本 实现 对 VSAN 环 境 的 


故障 预警 功能 ， 也 可 以 通过 自 定 义 VSAN Alarms 的 方式 来 完成 。 
在 vSphere Web Client 界 面 的 Alarm Definitions 标 签 中 单 击 绿 色 的 加 号 ， 弹 出 Alarms 的 配置 创建 窗口 ， 如 图 9-7 所 示 。 


在 这 个 窗口 中 ， 结 合 Alarm name, Description, Monitor, Monitor for, Enable this alarm 这 些 参数 的 组 合 ， 可 以 创建 
一 个 针对 VSAN 的 Alarm， 例 如 图 9-7 所 示 的 VSAN disk is offline。 在 Triggers 窗 口 ， 添 加 一 个 VOB 条 件 
esx.problem.vob.vsan.pdl.offline， 用 作 触 发 条 件 。 在 Actions 选 项 中 ， 选 择 以 Email 方式 通知 管理 人 员 ， 至 此 ， 


的 VSAN Alarm 定 义 。 


完成 一 个 简单 


«pi New Alarm Definition 


cenermm o Alarm name: VSAMN diskis offline 


2 Trigge 
eee Description: This alarm will activate if a disk used in a Virtual SAN disk group goes offline 


3 Actions 


Manitor: | Hasts x 


Manitar far (.3 specific conditions or state, far example CPU usage 
(*» specific event occuring on this object for examale VM Power On 


[T Enable this alarm 





Qua 


esx.problem.vob.vsan.pdl.offline 参 数 在 前 文 已 有 阐述 。 除 了 这 个 参数 之 外 ， 还 有 esx.problem.vob.vsan.lsom.diskerror、 


esx.problem.vsan.lsom.congestionthreshold、 esx.problem.vob.vsan.lsom.componentthreshold 参数 可 以 用 于 定义 VSAN Alarms 的 Triggerso 


9.3 RVCHSIE 


RVC (Ruby vSphere Console) 用 于 Windows 和 Linux 版 本 的 vCenter Server 中 。 利 用 它 ， 可 以 对 vSphere 基 础 架构 进行 
管理 。 本 章 主要 介绍 RVC 可 以 对 VSAN 进 行 的 监控 处 理 动作 。 


不 得 不 咬 ，RVC 很 强大 的 ， 遗 憾 的 是 它 的 使 用 万 式 过 于 复杂 ,不 符合 初学 者 。 例 如 ， 可 以 利用 VSAN.disks_info 命 令 来 监控 
Virtual SAN 磁 盘 相 天 信息 ， 系 统 会 输出 类 似 如 图 9-8 所 示 的 详细 信息 。 


Fhan nnn nnen TEN STENENE E EmN TAn LLLI LL LLL Lm muni i LU a i mn ams a LLLI ILLE E LLLI LELLILLLLLLLÉ LLL E i LLLI LEIILSILIS EIL m 


| i3550 | Sire | Stote e 


| trisplayMcome 
accro c LIII UE I LI I I A c Mc E ERI EO 
| ATA Seriol s AE VER UNS eed LN | 9231 GB | insa CThe disk resides on a non-locol ztoroge t'onzport: "mod. Poean. Ji 
| ATÀ = | | I 
4 -r--2-2222222l222-22- -----Lzlll2l2-2222L22222-222.2--22-- ic E 
| ATA Seriol Attached SESI Disk (nac. SMM-GODCAA25SA5 | HD Nu inisa (The Hak rerides on a mon tocol o tronsport: omm e MN. 
| ATÀ STO1BBBCAHNS | | | | 
Pe jm m n jor m m m m ndm RR GRE RR GE RR RR RU m e m m M e mm m m mm m m m m m a n a m m m n m m m mm nm m i n de 
| Local ATA Hsk (nna. 5Scd2e4 94b. -T- E48) | 55 | Z79 GB | inke I 
i ATA INTEL 55DSCc2HB OB I | | I 
TIME MO EUER ECHO i ar GO RE BH EC n EN E GE eh UR SOT ri RD GR RE DOE E Er a M GO -E mm i ar Gt ar i Rm 和 
1 ATA Sariul Attached SCSI Mak (aa Sao) | MD — | 931 Gi | inse (The disk resides an a mon lorul storage transport; ‘re. OM NO | 
STHIODO5-MINS | | | i 
二 -一 一 一 -一 一 一 一 -一 一 一 -一 一 -一 - 一 一 -一 一 一 -一 =- 一 一 一 -一 一 一 -一 一 -= 一 一 一 一 4- 一 一 -一 一 一 省 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 二 二 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 地 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 和 
| Local USB Mi rect-Accee (mp veh? : Oe TO: LEY | 14 | inaligibla (Exizting partitionz Found on Hek "mpm. vmhba327: CR: TR: LD. 
| TOSHIBA Transéemony | 


| T z 
| Ld 
r s 


| ATA Seriol Attachad SEST Mak (naa. SURG SOME3 cba ad) T" 

| ATA STOTQDOOCADNS | 

dumme mms uua umana ee ee mme mammam mammam mum mua mma manum mmm mmm mam mmm mmm mme 
| AT& Serial Attached 3CSI Disk (noo.3000cS9DOL3eG7 c6) Mp EN- g | US [The dlak resides on o non-local o Apt: PR esu" PPM 
| ATA STIILNE | | I 


中 mr me um um we ue rm um He UD r RR S ED CERO RR E E UE E er E E E RU RR UCET RO RR EUR n M mc a c Hmc E um Er c n a a mmc uc m m ao om mco uw am wn na cum cen ums um E re SCUSA UE UE UAR RR we EE RSEN CU UU GUT UR ET me EN E re GER UR GU CER EN UD E GER M E Tr UR "er CER T E NR Te mr RN E UR EUR E E CD UD e r cs mw m um Rc um r m n nal 





图 9-8 


Virtual SAN 6.0FHRVCIRZRSZ-S9gR S AIEÉEI9-9Brzn, PTA FAAARA. 


vsan.apply license to cluster 
vs5an.check limits 

vsan.check state 

vsan.clear disks cache 
vsan.cluster change autoclaim 
v58an.cluster change checksum 
vsan.cluster info 


vsan.host wipe non vsan disk 
vsan.host wipe vsan disks 
vsan.lldpnetmap 

vsan.obj status report 
vsan.object info 

vaan.object reconfigure 
vsan.observer 


vsan.cluster set default policy 


"vS5an.cmmds find 


vsan.disable vsan on cluster 


vsan.disk object info 
vsan.disks info 
vsSan.disks stats 


vsSan. enable  vsan on cluster 
vsan. enter maintenance mode 
vsan. fix renamed vms 


vsan. host claim disks : differently 


vsan.host consume disks 

san. host evacuate data 
woanihos: exit axatuetion 
vsan.host info 





vsan.observer process statsfile 
vsan.proactive rebalance 
vsan.proactive rebalance info 
vsan.reapply vsan vmknic config 
vsan.recover spbm 

vsan.resync dashboard 
vsan.scrubber info 

vsan.support information 
vsan.vzZ ondisk upgrade 

vsan.vm object info 
vsan.vm perf stats 

vsan.vmdx stats 
vsan.whatif host failures 


图 9-9 


如 前 面 所 述 ，RVC 同 时 支持 Windows 和 和 Linux 版 本 VCenter， 在 命令 体现 线 上 没 大 大 差异 ， 主 要 差异 还 是 体现 在 文件 存放 路 
径 上 。9.4 章 节 会 介绍 RVC 文 件 在 Windows 和 Linux 版 本 vCenter 的 不 同 路 径 。 由 于 未 来 vCenter 的 发 展 方向 都 是 以 Linux 版 本 
vCenter 为 主 ， 所 以 ， 本 书 都 以 Linux 版 本 vCenter (VCSA) 作为 管理 平台 。 


94 VSAN Observer 监控 


虽然 VSAN Observer 监控 手段 用 起 来 也 不 太 容 易 ， 但 是 它 的 输出 结果 和 界面 相对 于 RVC 和 ESXCLI 的 界面 ， 真 是 太 人 性 化 
了 ， 如 图 9-13 所 示 。 


以 查看 Read Cache 的 使 用 率 为 例 ， 可 以 输出 类 似 图 9-14 所 示 的 结果 ， 输 出 参数 包 合 : 
- Latency; 

. IOPS; 

- RC Hit Rate ; 


7 Evictions o 





Err i ioca 





| iizigies") 





图 9-14 


图 9-14 中 输出 了 很 多 人 关心 的 闪存 命中 率 、 延 迟 、1IOPSs 情 况 等 信息 ， 对 于 深度 技术 研究 者 来 襄 ， 这 些 信息 很 有 价值 。 
VSAN Observer 还 支持 对 其 他 组 件 的 监控 。 因 此 ， 综 合 来 说， 这 是 个 比较 不 错 的 监控 工具 。 


VSAN Observer 的 初始 化 使 用 方式 如 下 : 


(1) RVC 登 录 到 VCSA: 


#rvo rootalocalhost 


输入 对 应 的 密码 。 


(2) 执行 如 下 命令 激活 observer: 


#VSAN .observer vcsa.vmanager/vDC/computers/vmanager/ --run-webserver -force 


说明 : 上 述 命令 中 的 vCenter 名 称 、vVDC、vmanager 等 信息 请 换 成 自己 的 信息 。 


(3) 找 一 个 能 访问 这 人 台 VCSA 的 机 器 ， 打 开 Chrome/Firefox 浏 览 器 ， 输 入 地 址 https://vcsa.vmanager.cn: 8010， 然 后 输 
入 对 应 的 用 户 名 和 密码 ， 即 可 打开 上 面 的 VSAN Observer 监控 界面 。 


补充 说 明 : 如 果 是 Windows 版 本 vVCenter， 则 来 到 下 面 的 路 径 : 
%PROGRAMFILES%\VMware\lnfrastructure\VirtualCenter Server\support\rvc\rvc.bat, 


如 果 不 知 道 如 何 使 用 RVC， 可 以 输入 -h 参 数 查 看 相关 的 帮助 ， 如 图 9-15 所 示 。 


rvc [options] [username[:password]ü8]hostname 


where [options] a: 
-path «8»: 


reate-direcLtorv: Create ti l1nit ii directory if iL doesn't exist 

command to evaluate 
file to execute 

-EBPiE args <>: arguments to script (default: 
authentication cookie file 
silence unnecessary output 
Print version an xit 
show this mesas 





图 9-15 


不 过 ,个 人 还 是 建议 选用 VCSA， 因 为 在 VCSA 中 ， 它 的 功能 似乎 更 稳定 和 完善 。 


9.5 vRealize Operations Manager 监 控 Virtual SAN 


在 最 新 的 VMworld 2015 上 ， 针 对 vRealize Operations Manager 监 控 Virtual SAN 的 功能 组 件 已 随 着 最 新 的 vSphere 6.0 
Update 1 发 布 了 ， 如 图 9-16 所 示 。 


利用 vRealize Operations Manager 监 控 Virtual SAN 的 组 件 主要 有 三 种 : 
- 高 级 状态 分 析 组 件 

快速 排 错 功 能 组 件 

Virtual SAN Clustet 优 化 组 件 


鉴于 新 版 本 的 稳定 性 等 问题 ， 关 于 Virtual SAN 6.1 版 本 与 vRealize Operations Manager for VSAN 的 详细 信息 ， 将 会 在 第 
二 个 修订 版 本 中 更 新 和 详细 讲解 ， 本 书 不 详细 前 述 这 部 分 。 
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图 9-16 


9.6 本草 小 结 


目前 ， 针 对 Virtual SAN 的 监控 手段 还 不 完善 。 当 然 ， 这 和 Vittual SAN 本 身 刚 出 来 没 多 久 有 关系 。 其 中 ， 利 用 RVC 和 VSAN 


Obsetvetf 来 监控 更 合适 。 


相对 而 言 ， 笔 者 更 愿意 给 大 家 推荐 VSAN Observer， 因 为 从 结果 而 言 ， 它 相对 人 性 化 。VSAN Observer 实 质 上 也 是 与 RVC 结 


合 工 作 的 。 


对 于 技术 研究 人 员 来 说 ，VSAN OPbsetvet 更 接近 产品 的 本 质 层 面 ， 它 在 排 错 、 诊 断 这 些 方面 的 强大 功能 是 毋庸 置 疑 的 ， 但 是 
它 的 参数 更 多 也 是 显而易见 的 。 所 以 ， 使 用 它 需 要 有 更 强大 的 命令 行 功底 。 


不 过 ， 从 未 来 来 看 ， 还 是 让 我 们 期 待 一 下 vRealize Operations Manager For VSAN Packet 吧 。 目 前 ，vRealize Operations Manager 
ForVSAN 的 产品 还 不 能 广泛 用 于 实践 。 不 过 以 VMware 的 一 贯 思路 来 看 ， 全 方位 的 产品 监控 组 合 也 是 其 完善 软件 定义 数据 中 心 的 
必然 手段 ， 相 信 VSAN 也 不 会 例外 。 


3 b, VSAN Alarms 的 定义 也 很 重要 ， 至 少 可 以 帮助 管理 员 知 道 目 己 的 环境 是 否 有 问题 。 


第 10 草 Virtual SANE TVA pes 


本 章 的 核心 内 容 如 下 : 


: Virtual SAN 常 见 的 故障 场景 ; 

- Absent 与 Degraded 的 差异 与 影响 程度 ; 
: Compliant Not Compliant 的 差异 ; 

- health 与 Unhealthy 的 异同 ; 
网络 故障 的 场景 ; 

` 磁盘 故障 的 场景 。 


Virtua SAN 作 为 一 个 产品 ， 自 然 就 会 存在 各 种 问题 。 这 些 问 题 无 论 是 Bug、 正 常 故障 ， 还 是 其 他 的 原因 导致 ， 都 必然 存在 。 
在 工作 中 ，Bug 之 类 的 问题 没 办 法 提前 预知 ， 但 是 正常 的 、 常 规 的 故障 有 很 大 的 概率 碰 到 ， 针 对 这 些 类 型 的 问题 ， 旱 知道 就 能 早 
预防 。 本 章 就 是 为 了 帮助 用 户 减少 应 用 Virtual SAN 带 来 的 常规 、 计 划 外 故障 ， 同 时 提升 Vittual SAN 的 企业 级 应 用 的 可 靠 性 与 故障 
辨识 、 恢 复 的 效率 。 


10.1 Absent 与 Degraded 故 障 


Absent 和 Degraded 是 针对 组 件 的 2 种 故障 类 型 。 


: Absent: 这 种 故障 主要 针对 Virtual SAN 检 测 到 了 组 件 故 障 ， 但 是 Viftual SAN 判 定数 据 是 完整 的 ， 还 可 以 恢复 和 继续 运行 ， 
所 以 不 存在 数据 丢失 。 


: Degraded: 这 种 故障 表示 Virtual SAN 检 测 到 有 组 件 出 现 无 法 修复 的 故障 ， 这 时 Virtual SAN 会 立刻 处 理 这 块 磁盘 所 在 对 象 的 
相关 数据 ， 立 刻 重 建 数据 ， 恢 复 对 象 组 件 的 正常 状态 。 


图 10-1 左 边 为 Absent 故 障 右边 为 Degraded 故 障 。 
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通 单 以 下 场景 可 能 导致 Absent 故 障 : 


- ESXi Host € È ; 

: Disk Group 4? ; 

- 临时 网 络 中 断 ; 

- Disk Group 中 磁盘 暂时 离线 。 
针对 Absent 故 障 ， 系 统 会 在 60 分 钟 后 重新 同步 数据 ， 完 成 rebalance 动 作 。 


Absent 和 Degraded 可 能 由 同一 种 故障 导致 ， 通 常情 况 下 ，Virtual SAN 会 根据 Mirrors 的 状态 来 判断 重建 的 可 能 性 ， 如 果 检 
测 到 有 足够 的 主机 、 磁 盘 和 Replicas 可 以 支持 重建 ，Virtual SAN 会 根据 故障 结果 的 差异 来 决定 到 底 是 60 分 钟 后 ， 还 是 立刻 执行 
重建 动作 。 这 样 主要 还 是 考虑 重建 成 本 问题 ， 这 里 的 成 本 包含 时 间 成 本 和 负载 成 本 。 


10.2 Compliant 与 Not Compliant 故 障 


Not Compliant 也 是 Virtual SAN 场 景 中 容易 出 现 的 情况 ， 如 图 10-2 所 示 。 


Issues Performance Profe Compliance Tasks Events Resource Alocaton | Wria SAN. vsonere DRS Utilization Storage Reports 


$4 Virtual Disks 
Physica! Disks 
四 There are connectivity issues in this duser One or more hosts ane unable I0 communicate wit fme Vinual SAN datastore 
Data below does not reflect fhe nea! state o! he sysiam More info 
Q i 

ig wb "M Stsuge Pol Co puce Sus Opemto^a Biais 
iy Hard disk ! Eg net Q Mot Compliant & Healthy 
( ] VM home [P tie Q Not Compliant © Healthy 

Li 

Physical Disk Placemem Comphance Failures 
vm! - VM homa : Physical Disk Placement 


[T TaD Dua acu LLD Dai Lud 


d 1067128215 23 Object not found 523494e6- ' 1 


g 10.67.1210 TJ Locs VMware Disk (mpx vm. 5265a561-) 
g 1067.115.108 O Local VMware Disk (mpx.vm..— 52120c2-0a 


atoms | 





图 10-2 


当 应 用 了 指定 策略 的 对 象 无 法 满足 策略 对 于 Compliance 的 要 求 时 ， 融 可 能 出 现 图 10-2 中 的 Not Compliant 状 态 。 这 种 情况 
比较 特殊 ， 它 有 可 能 表示 当前 的 硬件 组 件数 无 法 支持 对 象 的 Compliant 要 求 ， 但 是 又 不 一 定 会 出 现 真正 意义 上 的 故障 ， 例 如 前 面 
所 说 的 Absent。 在 这 种 情况 下 ， 不 会 出 现 真 正 意义 上 的 对 象 宕 掉 ， 此 时 业务 正常 运行 ，60 分 钟 后 ， 会 在 Resync 页 面 看 到 系统 自 
动 执 行 重建 动作 ， 当 然 前 提 是 这 段 时 间 内 没 友 生 故障 自动 恢复 的 情况 。 


此 时 尝试 重新 应 用 这 条 策略 ， 依 然 提 示 Not Compliant， 则 可 能 会 完成 修复 动作 ， 那 么 ， 此 时 的 问题 融 可 以 忽略 了 。 


10.3 Applicable 与 Not Applicable 故 障 


Not Applicable 故 障 状态 主要 是 在 将 VM Storage Policy 应 用 到 虚拟 机 对 和 象 时 可 能 友 生 ， 当 位 于 仓储 中 的 虚拟 机 无 法 匹配 


VSAN 的 策略 要 求 时 ， 束 可 能 出 现 如 图 10-3 所 示 的 故障 提示 。 

















Gang Started Summary Monitor | Manage Related Objects 


issues  Perlormance "Pelis Tasks Events | Utizabon 





























VM Sri Prig Lomghanoe talus 


[rt Virtual SAN Defauit Storage Policy Not Applicable 


EA Virtual SAN Default Storage Policy ( Mot Applicable 


&« Härd disk 1 





图 10-3 


其 中 ， 最 典型 的 束 是 当 虚 拟 机 位 于 VMFS 之 类 的 文件 系统 中 时 ， 出 现 这 样 的 场景 。 面 对 这 种 问题 ， 解 ; 


10.4 Out of Date 故 障 


决 方案 不 用 多 强调 吧 ? 


Out of Date 故 障 比较 特殊 ， 它 表示 当 对 象 处 于 一 种 特殊 状态 时 的 一 种 提示 。 例 如 ， 虚 拟 机 被 vSphere Replication 执 行 拷 
贝 、 虚 拟 机 处 于 被 克隆 状态 ， 但 还 没 生 成 或 者 虚拟 机 未 部 署 完成 时 ， 当 然 也 包含 临时 性 地 满足 不 了 兼容 性 要 求 时 的 情况 。 在 图 


完整 ， 提示 Out of Date, 


10-4 中 ， 一 部 分 数据 满足 了 Compliant 要 求 ， 另 一 部 分 由 于 数据 不 完 


Summary Monitor | Manage | Related Objects 


E Settings | Alarm Definitions | Tags | Permissions | VM Storage Polides | Schedul z 


VM Storage Policy assignments Manage VM Storage Policies... 
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图 10-4 


完成 上 述 过 程 并 刷新 ， 目 然 融会 恢复 到 正 弟 状 态 了 。 


10.5 ”None 故障 


None 故 障 准确 来 讲 不 算 故 障 ， 因 为 ， 这 表示 没有 为 虚拟 机 对 象 分 配 VM Storage Policy， 在 Virtual SAN 5.5 时 ， 当 没有 注 
册 到 一 个 合适 的 VASA Storage Provider 时 ， 会 出 现 没有 默认 策略 的 情况 ， 此 时 虚拟 机 对 象 出 现 图 10-5 所 示 的 提示 。 


Getting Stared Gumman Monitor Manage Related Objects 
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图 10-5 


这 种 情况 ， 不 能 算 故 障 ， 不 过 可 以 作为 参考 。 


10.6 healthy 与 unhealthy 故 障 


Bmw F, Virtual SAN Cluster 的 对 象 可 用 组 件数 低 于 50% 时 ， 这 个 Health Status 就 会 显示 为 Unhealthy， 超 过 50% 
则 不 会 出 现 这 个 提示 。 当 同一 个 对 象 的 Replica Component 与 Witness 都 提示 Absent 时 ， 提 示 Unhealthy， 如 图 10-6 所 示 。 
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10.7 inaccessible 与 orphaned 故 障 


inaccessible 与 orphaned 故 障 针对 的 是 虚拟 机 对 象 本 身 。 虚 拟 机 对 象 要 运行 ， 要 求 文件 必须 足够 完整 ， 包 侣 VM Home 目 
录 与 VMDK 对 象 的 完整 ， 也 残 是 需要 组 件数 超过 50%。 因 此 ， 


当 组 件数 无 法 满足 这 个 要 求 时 ， 就 会 提示 orphaned 或 
inaccessible 状 态 。 


当 虚 拟 机 对 象 变 成 Orphaned 时 ， 表 示 vCenter 与 ESXi Host 都 无 法 找到 或 检索 到 虚拟 机 相关 的 东西 ， 如 *.vmx， 此 时 目 然 束 
会 呈现 出 Orphaned 状 态 。 
这 种 状态 并 不 是 恒定 的 ， 


通 贡 只 有 对 和 象 数量 不 够 文 返 虚 拟 机 对 象 运行 时 
这 个 故障 会 目 动 消失 。 


， 才 会 出 现 。 而 当 故 障 主机 恢复 或 计划 内 局 动 完成 乙 


10.8 ”Cache 的 闪存 故障 


内 和 存 的 基础 用 途 是 Cache 和 Buffer， 当 一 个 Disk Group 发 生 闪 存 设备 故障 时 ， 这 个 Disk Group 被 标识 为 Degraded 状 态 ， 


无 论 这 个 内 存 设备 是 什么 原因 导致 的 故障 ， 无 论 是 计划 内 ， 还 是 计划 外 ， 都 会 导致 这 个 Disk Group 被 标识 为 Degraded 状 态 。 


换 句 话说 也 就是 : 闪存 在 Disk Group 中 扮演 着 重要 的 位 置 ， 它 宕 掉 束 意味 着 整个 Disk Group 出 问题 ， 针 对 这 个 部 分 的 监控 
很 重要 了 。 因 为 有 很 多 原因 可 能 导致 内 存 故 障 ， 例 如 : 


: Disk Group 中 的 磁盘 状态 被 标识 为 Degraded 状 态 ; 
: Virtua SAN 中 的 I/O 处 于 未 知 的 挂 起 状态 ; 
- 移 除 Virtual SAN Clustet 中 的 物理 设备 且 恢复 时 间 超 过 5~7 秒 。 


当 添 加 新 的 闪存 设备 时 ， 需 要 先 移 除 Disk Group 中 的 闪存 设备 ， 然 后 才能 添加 进来 。 


10.9 HDD 及 Network 相 关 故 障 


HDD Æt, Virtual SAN Cluster 会 根据 Absent、Degraded 状 态 决定 是 人 否 以 及 何 时 执行 数据 重建 动作 。 


而 Virtual SAN 任 意 对 象 出 现 问题 时 ， 都 可 能 在 Virtual SAN Cluster 的 General 选 项 的 Network status 中 提示 故障 ， 例 如 ， 
图 10-7 所 示 的 Misconfiguration detected。 


Virtual SAN is Turned ON One or more hosts cannot communicate 


wi he vsAN dalastore 
Each hastrequires atleast one vmkernmel 
adapter with VGAM senáce enabled. All 
those adapters need to be connected to 
Haste 3 hasis tne same physical network to ensure 

| | correct communication with the V SAN 
SSO disks in use 3 of 3 elig daiasiore 


Add disks ta storage Manual 


Resources 


Tawiew Ihe network partition groups, 
check fne respective column in Ihe Disk 
Total capacty of V SAM datastore 2T 3.00 GE Management grid 


[aia disks in use 5 of 15 eli 


Free capacity of V SAN datastore 243 40 GB 


Network status i Misconfigurabon detected i 
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如 果 故 障 与 网 络 本 身 无 关 ， 融 检测 Virtual SAN ClusterBSfg2X T &aXAe, E, MRAR ENRAMA, MAE 
议 检查 的 Multicast，Virtual SAN 5.5 只 支持 Layer 2, Virtual SAN 6.0 可 以 支持 Layer 3。 所 以 ， 这 部 分 出 现 故障 也 是 有 可 能 。 


同时 ， 网 络 相关 故障 还 与 vSphere Distributed Switch, Jumbo Frames 等 有 关 ， 尤 其 是 jumbo Frames， 这 个 选项 配置 之 
后 ， 如 果 端 到 端 节点 中 某 个 部 分 故障 ， 不 排除 出 现 这 样 的 可 能 。 针 对 这 个 问题 ， 排 查 方式 可 以 是 在 节点 主机 执行 以 下 命令 : 


fesxcli network ip interface list 
查看 MTU 值 ， 然 后 有 针对 性 地 调整 该 值 ， 结 果 如 图 10-8 所 示 。 


~ $ eaxcli network ip interface list 
vmkü 
««truncated»- 
vmki 
Cc«Ltruncated»- 
vmkz 
vmk2z 
Name: vmkz 
MAC Address: 00:2230:56:61 
Enabled: true 
Portset: DvsFortset-1l 


Portaroup: N/A 
Netstack Instance: defaultTcpipStack 
VDS Name: ie-vds-04 


VDS UUID: 83 d4 de 50 ae 27 IB »5d-1d Z7 2d ff 5a J4 64 05 
VDS Port: 18 

VDS Connection: 1525799189 

Opaque Network ID: N/A 

Opaque Network Type: N/A 

External ID: N/A 

MTU: 1500 

T30 M55; 62233 

Port. IÐ: 503315851 





图 10-8 


上 面 是 针对 Interface 接 口 部 分 ， 下 面 的 命令 和 图 10-9 是 针对 vSphere Standard Switch 的 。 


#esxcli network vswitch standard list 


~ $ eos5xcli network vswitch 
wEwitceoenü] 

Name: v&SwitchO 
Class: etherswi teh 
Num Ports: 4352 
Used Ports 
Configured 
MTU: 1500 
CDP Status: listen 
Beacon Enabled: false 
Beacon Interval: 1 
Beacon Threshold: 3 
Beacon Required By: 
Uplinks: vmnicO 
Fortgroups: VM Network, Management Network 





图 10-9 


如 果 vSwitch 不 是 vSphere Standard Switch， 而 是 vSphere Distributed Switch， 则 可 以 执行 如 下 命令 : 





— 





[4/bin/net-dvs -1 | grep -I MTU -B 15] 


输出 结果 如 图 10-10 所 示 。 


+ /bin/net-dvs -l|grep -i MTU -B 15 
qlobal properties: 
com. vmware. common. oón = i pe A Ue d 

proplype 三 "CORE: 

.Vmware.common. opacueDvs = false propType = CONFIG 

„vmware .common.alias = vdsÜl , propType = CONFIG 

:VMware .cormmon.uplinkPorts: 
mgmt, vmotion, vm, vsanl, vsanzZ, vsanj 
propTIype = CONFIG 


|,vmwaro.othorswitoh.ipfix: 
idle timeout = 15 seconds 


active timeout - 60 seconds 
sampling rate = 0 
collector = 0.0.0.0:0 
internal flows only = false 
propType = CONFIG 
. vmware .etherswitch.mtu = 1500 , propType 





图 10-10 


从 图 10-10 中 可 以 看 到 MTU 为 1500， 然 后 检查 端 到 端的 相关 设 定 ， 即 可 排除 。 


在 网 络 故障 中 ， 还 会 存在 Network Partition 的 情况 ， 这 种 情况 依然 会 出 现 环境 故障 ， 此 时 ， 需 要 调整 For VSAN 的 
VM kernel 接 口 的 网 络 设 定 信息 ， 然 后 针对 性 的 进行 调整 ， 解 决 掉 Network Partition 的 情 ) 


针对 这 个 部 分 的 调整 ， 既 可 以 通过 vsphere Web Client 图 形 界面 来 完成 ， 也 可 以 通过 esxcli 命 令 行 在 CLII 界面 下 完成 。 图 形 
界面 的 调整 很 简单 ， 这 里 不 详 述 。 这 里 重点 介绍 如 何 利用 esxcli 命 令 行 对 Network Partion 故 障 进 行 检 查 和 调整 。 


1) 进入 书 点 主机 的 命令 行 界 面 ， 输 入 如 下 命令 : 


fesxcli vsan cluster get 


这 条 命令 的 输出 结果 如 图 10-11 所 示 。 


- $ esxcli vasan cluster get 
Cluster Information 
Enabled: true 
Current Local Time: 2015-04-10T09:24:31Z 
Local Node UUID: 54966f69-5028-c54a-a8906-005056830d58 
Local Node State: MASTER 
Local Node Health State: HEALTHY 


Sub-Cluster Master UUID: 54966r69-5028—c54aÓ-a906-005056830d58 

aub-Cluster Backup UUID: 5496rf6412-fb36-5fda-d5c2-005056837d95f 

Sub-Cluster UUID: 5275e7461—d7e59—-d76b—/c87—ce4d93a74849 

Sub-Cluster Membership Entry Revision: 32 

Sub-Cluster Member UUIDs: 54966f69-5028-c54a-a906-005056830d58, 5496f643-fb36-5fda-d5c2-005056837d9f 
Sub-Cluster Membership UUID: 6c922755-0f9e-6b9e-22ac-005056831715 


= $ il 





图 10-11 


图 10-10 中 显示 当前 环境 的 状态 ， 以 及 类 似 Sub-Cluster 的 信息 。 在 图 10-10 中 ， 可 以 看 到 3ub-Cluster 中 只 有 2 人 台 主 机 ， 而 
实际 上 环境 中 至 少 有 3 人 台 主 机 ， 此 时 ， 融 表示 有 1~2 人 台 主 机 不 企 了 。 


2) 用 如 下 命令 检查 主机 的 网 络 情况 : 


#esxcli vsan network list 


如 果 输 入 这 条 命令 没有 任何 结果 呈现 ， 则 表示 没有 For VSAN 的 VMkernel 信 息 配置 。 


3) 进一步 查看 主机 的 VMkernel 信 息 ， 输 入 如 下 命令 : 


#esxcli network ip interface ipv4 get 


这 条 命令 会 输出 如 图 10-12 所 示 的 结果 ， 可 以 看 到 所 有 的 Vmk 信 息 。 





[root@esxiS0:~] _ 


Bj 10-12 


4) 使 用 如 下 命令 将 指定 的 vmk 接 口 表 示 为 一 个 For VSANBSVMkernelfzr. 


#esxcli vsan network ipv4 add -i vmk0 


5) 再 次 尝试 用 第 2) 步 中 的 命令 查看 结果 时 ,会 友 现 输出 的 结果 不 同 了 ， 如 图 10-13 所 示 ， 表 示 已 经 有 了 一 个 For VSAN 的 


VMkerneltzr]l, 


rootíl'esxi5]0:-1 esxcli vsan netuork list 
Interf ace 
VnkMic Mame: vmkU 
IP Protocol: IPv4 
Interface UUID: 459780156-96f8-b88/ -4419-880c29b16c90 
Agent Group Multicast Address: 224.2.3.4 


Agent Group Multicast Port: 23451 
Master Group Multicast Address: 224.1.2.3 
Master Group Multicast Port: 12345 
Host Unicast Channel Bound Port: 12321 
Multicast TIL: 5 

rootltesx i59: - ] 





图 10-13 


Storage Provider 的 查看 在 前 文 已 提 到 ， 在 配置 VSAN Cluster 过 程 中 ， 可 能 会 出 现 由 于 没 能 成 功 注册 Storage Providers] 
vCenter， 而 无 法 使 用 VSAN Storage policies， 从 而 导致 VSAN 无 效 的 情况 出 现 。 


单 击 Inventory 窗 口 的 vCenter Server^Manage-Storage Providers， 如 图 10-14 所 示 。 
VMNare’ vSphere Web Client Ñ= Ey | Administer HERE.LGC 


 JwEBRüWwInanager.cn A = 
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图 10-14 


结果 如 图 10-14 所 示 时 ， 表 示 整 个 环境 是 不 正常 的 。 这 时 ， 可 以 单 击 图 10-14 中 的 绿色 加 号 ， 手 动 添加 Storage Providerz 
后 才能 继续 。 如 果 手 动 添加 失败 ，Windows 版 本 vCenter 建 议 检 查 VMware vSphere Profile-Driven Storage Service 是 否 
常 ， 如 果 是 Started 状 态 ， 则 重新 启动 后 再 尝试。 如 果 是 VCSA， 可 以 在 命令 行 下 党 试 重启 vmware-sps 服 务 ， 或 者 直接 重启 
VCSA 后 再 次 蔡 试 。 


10.11 本 草 小 结 


总 之 ， 导 臻 Virtual SAN 故 障 的 可 能 性 很 多 ， 无 法 一 一 列 出 ， 只 能 把 常规 的 一 些 问 题 列 出 来 。 以 编者 的 经 验 看 ， 上 述 问 题 窗 盖 
了 日 常 85% 以 上 的 常规 问题 。 


更 多 详细 的 故障 问题 ， 只 能 在 未 来 的 工作 中 去 进一步 收集 、 整 理 。 


对 于 故障 检测 ， 当 然 还 有 更 多 的 东西 可 写 ， 但 这 只 是 一 本 入 门 级 别 的 书 ， 故 更 多 的 介绍 不 适合 本 书 。 所 以 ， 本 书 针对 排 错 部 
分 的 介绍 就 到 此 为 止 了 。 


d ERR, Virtual SAN 这 个 存储 虚拟 化 产品 得 到 了 大 规模 的 应 用 和 和 部署， 用 户 有 了 排 错 的 深层 次 需求 ， 那 么 我 们 可 以 推出 排 
错 的 系列 课程 与 配套 书本 。 


611 Virtual SAN 简 单 性 能 


章节 概要 

本 章 的 核心 内 容 如 下 : 

Virtual SAN 的 性 能 极限 ; 

` 不 同类 型 的 I/O 组 合 ; 

© 不 同 FTT 与 Stripe 情 况 下 的 性 能 图 标 ; 
: Disk Groups 的 数量 与 性 能 的 关系 ; 

网 络 与 性 能 的 关系 ， 

其 他 因素 对 性 能 的 影响 。 


总 体 来 说 ， 对 Virtual SAN 本 身 的 性 能 问题 进行 泛 谈 是 没有 意义 的 。 原 因 很 简单 ，Virtual SAN 在 不 同 的 ESXi Host 节 点 、Disk 
Group 数 量 、 磁 盘 类 型 、 磁 盘 数 和 网 络 的 综合 支撑 下 ， 会 输出 不 同 级 别 的 性 能 总 计 。 在 极限 状态 下 vsanDatastore Size 可 以 取 到 


8.8PB， 此 时 它 可 以 输出 为 不 同类 型 的 性 能 级 别 。 
但 是 ， 极 限 状 态 仅 仅 是 个 性 能 总 计 ， 例 如 ， 在 全 闪存 结构 满 配 状 态 下 ， 极 限 性 能 输出 可 以 使 vsanDatastote 的 IOPS 总 数 惊 人 。 
- 单 节点 90000 个 IOPS ; 
.Clustet 超 过 7000000 个 IOPS 。 
即使 是 在 混合 存储 情况 下 ， 这 个 极限 性 能 输出 也 能 使 vsanDatastote 的 IOPS 总 数 达 到 : 


- 单 节点 40000 个 IOPS ; 


.Clustet 超 过 2000000 个 IOPS 。 


上 述 参 数 仅仅 是 理论 值 。 在 实际 工作 中 ， 存 在 不 同 的 性 能 输出 级 别 。 那 么 ， 影 响 这 些 性 能 输出 的 关键 性 因素 有 哪些 呢 ? 粗略 
& 


”ttlpes ; 


: Disk Group 数目 与 磁盘 构成 ; 
“节点 主机 数 ; 
` 网 络 卡 速率 ，; 


: MTU, 


11.1 IO 的 类 型 


从 技术 的 角度 来 看 ，1/O 通 常 分 为 Read MO 和 Write MO，1MO 类 型 和 分 布 比例 的 不 同 ， 产 生 的 性 能 输出 结果 是 截然 不 同 的 。 
下 面 几 种 是 生产 环境 中 可 能 存在 的 |/O 组 合 : 


: Read I/O; 

- R/W 比 例 为 7: 3; 

- 连续 Read I/O; 

: 连续 Wtite I/O; 

` 连续 R/W 比 例 为 7: 3 混合 LI/O。 


无 论 是 上 述 几 种 I/O 组 合 的 哪 一 种 ， 理 论 在 FTT=1、Stripe=1 的 情况 下 ， 性 能 输出 相对 适中 。 限 于 条 件 ， 我 们 没 法 一 一 针对 
上 述 条 件 进行 模拟 测试 。 但 是 ， 在 Virtual SAN 结 构 下 ， 上 面 几 种 |/O 组 合 的 性 能 输出 效果 都 会 比 同等 条 件 下 的 集中 存储 有 更 好 
的 表现 ， 而 且 成 本 更 加 低廉 。 


11.2 FTT 参 数 与 性 能 输出 


根据 实测 可 以 得 到 的 结论 是 : FTT 值 越 大 ， 对 性 能 输出 的 损耗 越 大 ， 但 是 可 靠 性 越 高 ，Stripe 值 越 大 ， 性 能 越 好 ， 但 是 可 靠 
性 会 随 之 受到 损耗 。VMware 官 方 给 出 的 一 个 测试 实例 如 图 11-1 所 示 。 
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从 图 11-10 中 ， 可 以 看 到 FTT 值 越 大 时 ，IOPS 和 延迟 都 对 应 受到 了 负面 影响 ， 也 残 是 论证 了 我 们 的 观点 : FTT 值 越 大 ， 性 能 
损耗 越 大 。 


11.3 ”Stripe 参 数 与 性 能 输出 


不 同 Stripe 数 值 情况 下 的 I|OPS 与 延迟 情况 如 图 11-2 所 示 。 可 以 明显 看 到 Stripe 值 起 大 时 ，1OPS 与 延迟 情况 表现 都 相对 优 
异 。 这 也 论证 了 我 们 的 观点 ，Stripe 值 越 大 ， 性 能 输出 越 好 。 
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11.4 Disk Groups 数 量 与 性 能 输出 


从 前 面 基础 部 分 的 内 容 ， 大 家 应 该 知道 Virtual SANE&—-EQVI Exxeisi» "Disk Groups， 那 么 在 同等 条 件 下 ， 不 同 数量 的 
Disk Groups 对 Virtual SAN 对 象 性 能 的 影响 又 如 何 呢 ? VMware 官方 的 测试 结果 如 图 11-3 所 示 。 
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图 11-3 


图 11-3 为 4、16、32 和 64 主 机 情况 下 ， 一 个 Disk Group 与 两 个 Disk Groups 的 IOPS 情 况 。 可 以 看 到 在 同等 条 件 下 ，2 个 Disk 
Groups 的 性 能 远 远 超 过 一 个 Disk Group 的 情况 。 


从 这 个 理论 可 以 推论 得 知 ， 在 同等 条 件 下 ，Disk Groups 越 多 ， 性 能 越 好 。 


同 理 ， 在 同等 条 件 下 ， 同 一 个 Disk Group 中 的 磁盘 越 多 ， 击 中 它 的 对 象 的 IOPS 性 能 输出 会 远 超过 磁盘 数 较 少 的 Disk 
Group。 不 过 ， 这 样 做 的 缺陷 也 是 显而易见 的 ， 由 于 市 点 主机 需要 同时 处 理 更 多 的 数据 ， 因 此 在 数据 一 任性 、 数 据 校 验 、 元 数据 
交换 等 层面 上 都 会 更 复杂 ， 进 而 对 于 证 点 主机 的 计算 资源 ， 也 束 是 CPU 与 RAM 的 开销 也 会 相对 增加 。 


ilis Virtual SAN 这 种 类 似 分 布 式 存储 技术 的 存储 虚拟 化 产品 最 大 的 卖点 ， 它 将 负载 分 散 到 了 不 同 的 节操 、 设 备 上 ， 在 分 
散 风 险 、 降 低 成 本 的 同时 ， 还 有 效 地 提升 了 性 能 。 


x 小 十 么 DA 
11.5 ”网 络 人 参数 与 性 能 输出 

NIOC, Jumbo Frames、 网 络 卡 速率 这 几 个 参数 ， 对 于 同等 条 件 下 的 Virtual SAN Datastore 的 性 能 输出 都 有 着 绝对 影响 
力 。 在 发 生 故 障 后 的 故障 恢复 过 程 中 尤其 如 此 ， 不 同 的 网 络 条 件 组 合意 味 着 不 同 的 性 能 输出 。 

当然 ， 网 络 部 分 对 于 性 能 输出 的 影响 不 仅 局 限于 速率 这 个 层面 ， 它 也 会 与 前 面 几 个 参数 : 


.主机 节点 数 ; 


: FTTMR; 
: Stripe ; 


: Disk Groups? 数量 ; 


相辅相成 ， 不 同类 型 的 结构 组 合 ， 意 味 着 不 同 的 性 能 输出 。 


11.0 ”其 他 因素 与 性 能 输出 


除了 VM Storage Policies 相 关 的 策略 组 合 以 及 Virtual SAN 目 身 基础 组 件 的 灵活 组 合 对 性 能 输出 有 影响 之 外 ， 不 同类 型 的 
MO 组 合 与 页 面 大 小 也 对 性 能 输出 有 影响 。 


在 Read 与 Write 的 混合 输出 场景 下 ， 性 能 衰减 会 因 Read 与 Write 的 比例 不 同 而 有 着 不 同 程度 的 自 适 应 下 降 。 理 论 上 ， 在 纯 
Read 环 境 下 的 性 能 输出 是 最 好 的 ， 这 点 是 由 闪存 更 大 用 途 被 用 作 Read Cache 的 原因 得 出 的 结论 。 那 么 ， 从 业务 层面 显而易见 
查询 类 业务 、 高 密集 型 查询 类 业务 运行 在 由 Virtual SAN 构 成 的 业务 环境 中 是 适合 的 ， 如 12306 的 查询 业务 部 分 、 航 班 查询 业 
务 、 身 份 查 询 业 务 等 R/O 类 型 业务 。 


而 在 Write 与 Read 混 合 的 情况 下 ， 由 于 存在 一 个 Write Buffer， 所 以 性 能 虽然 会 衰减 ， 但 也 会 相对 强大 。 


11.7 Virtual SANTEBETIEXZEHTC 


在 Virtual SAN 中 ， 影 响 性 能 输出 的 因素 很 多 ， 但 是 ， 从 前 面 的 数据 可 以 知道 ， 其 中 对 性 能 影响 最 大 的 还 是 VM Storage 
Policies 中 相关 参数 的 设 定 ， 尤 其 是 FTT、Stripe 与 Disk Groups 这 几 大 块 。 


在 物理 外 部 环境 同等 的 情况 下 ， 如 果 要 简单 粗暴 地 得 出 一 个 结论 那 惑 是 : 
1. 结 论 a 


在 Disk Groups 数 量 与 磁盘 类 型 、 数 量 恒 定 的 情况 下 ， 只 考虑 绝对 性 能 输出 ， 不 考虑 可 用 性 ， 那 么 Stripe=12，FTT=0 是 绝 
佳 组 合 。 


在 Disk Groups 数 量 与 磁盘 类 型 、 数 量 恒定 的 情况 下 ， 要 想 综合 考量 性 能 与 可 用 性 ， 那 么 Stripe=4，FTT=1 是 相对 中 庸 的 选 


3. 结论 Cc 


在 Disk Groups 数 量 与 磁盘 类 型 、 数 量 恒定 的 情况 下 ， 要 输出 高 可 用 性 而 适当 兼顾 性 能 ， 那 么 Stripe=1，FTT=3 是 最 合适 的 
选择 。 


需要 注意 的 是 ， 不 同 的 策略 组 合 对 于 设备 组 件数 是 有 要 求 的 ， 官 万 数据 显示 : 单一 Virtual SANDARAN RFEA 
量 为 9000， 最 大 VMs 数 量 为 200， 单 个 对 象 最 大 值 为 255GB。 这 些 参数 组 合 起 来 ， 就 会 形成 对 设备 组 件 的 配置 要 求 。 


由 于 本 书 不 是 设计 专题 ， 所 以 ， 设 计 部 分 会 放 到 下 一 卷 里 再 讲 。 


11.8 ”本 童 小 结 


影响 Virtual SAN 对 象 的 性 能 输出 级 别 的 因素 很 多 ， 本 章 介绍 的 只 是 极 少 的 一 些 。 
在 这 有 限 的 几 个 部 分 性 能 输出 假设 中 ， 可 以 看 到 ， 核 心 集 中 在 了 下 面 几 个 方面 : 
FTT 值 ; 
Stripe 值 ，; 
Disk Groups 数 量 ; 
` 磁盘 类 型 和 数量 。 


虽然 其 他 因素 也 会 影响 ， 但 是 ， 业 务 对 象 的 性 能 输出 很 大 程度 上 会 受制 于 前 面 归 纳 的 这 几 个 参数 。 灵 活 的 参数 组 合 会 输出 灵 
活 的 业务 要 求 组 合 。 有 具体 到 业务 层面 ， 还 是 那 缉 话 : 规划 比 实施 更 重要 。 


第 12 Virtual SAN 6.1 快 速 预览 


章节 概要 
本 章 的 核心 内 容 如 下 : 
Virtual SAN 6.1 的 新 功能 ; 
- Virtual SAN 6.1 新 功能 的 优势 ; 
- Virtual SAN 6.1 与 6.0 的 差异 ; 
- Virtual SAN 6.1 中 Witness 的 变化 ; 
- Virtual SAN Beta 功 能 预测 。 


对 于 一 个 专注 于 技术 研究 的 人 来 说 ， 世 界 上 最 残酷 的 事情 莫 过 于 你 刚 研究 完 一 个 版 本 ， 新 版 本 就 出 来 了 。 如 此 往复 ， 人 生 再 
无 停 下 来 的 时 候 。 所 以 ， 不 得 不 遗 幅 地 说 : 在 本 书 出 版 之 时 ，Virtual SAN 6.1 已 经 正式 发 布 了 ， 虽 然 稳 定性 方面 的 因素 还 有 待 测 
试 、 生 产 验 证 。 但 是 从 技术 传递 的 角度 来 讲 ， 我 们 不 得 不 介绍 Virtual SAN 6.1 相 对 于 Virtual SAN 6.0 的 变化 。 


12.1 Virtual SAN 6.1 的 新 功能 


2015 年 09 月 在 VMworld 2015 大 会 上 发 布 的 Virtual SAN 6.1 随 着 vSphere 6.0 Update 1 版 本 的 正式 开放 下 载 而 出 现在 了 技 
术 人 的 手 里 ， 根 据 官 方 的 介绍 ，Virtual SAN 6.1 在 基础 部 分 没有 太 大 变化 ， 主 要 的 变化 如 下 : 


: Virtual SAN 支 持 双 活 存储 (Stretched Cluster) ; 
支持 运行 SMP-FT 虚 拟 机 ; 

- 利用 vSphere Replication 结 合 SRM 可 以 实现 RPO 〇 最 小 为 5; 
- 支持 两 节点 Vittual SAN Cluster (ROBO) ; 

- Virtual SAN X 4&Oracle RAC 和 WSFC 集 群 技术 ; 

- Virtual SAN 支 持 UlltraDIMM SSD 和 NVMe SSD; 

- Virtual SAN Health Check Plugin 更 新 到 第 2 个 版 本 ; 

- Virtual SAN for vROPS Suite 的 Packs 出 现 了 ; 

- Virtual SAN 支持 Cloud_nativeApplication。 


上 述 部 分 功能 还 是 很 有 吸引 力 的 ， 比 如 SMP-FT、Sstretched Cluster 和 Virtual SAN for vROPS Suite Packs， 都 非常 实 
用 。 


12.2 Virtual SAN 6.1 新 功能 的 优势 


上 述 新 功能 中 ， 介 绍 有 实用 价值 的 几 个 组 件 。 
: Stretched Cluster; 
: SMP-FT; 
结合 SRM 实 现 VR 状 态 下 RPO 最 小 为 5; 


: Virtual SAN for vROPS Suite Packs. 


12.3 Virtual SAN 6.156.089 & 


除了 上 述 功 能 上 的 差异 之 外 ， 两 个 版 本 最 大 的 差异 还 在 于 6.1 版 本 支持 直接 走 内 存 通道 的 UlltralDIMM 与 NVMe 的 闪存 设 
备 。 这 样 的 功能 组 件 支 持 ， 其 实在 目前 用 处 不 大 。 在 这 之 前 ,没有 多 少 人 用 过 这 两 个 闪存 设备 。 而 这 之 后 ， 用 得 起 的 公司 不 会 很 
。 当然 了 ， 这 两 个 设备 的 存在 进一步 增强 了 VSAN 对 于 OLTP 和 OLAP 类 型 业务 的 支持 。 


K 


但 是 ， 针 对 WSFC 和 Oracle RAC 的 正式 支持 这 个 功能 的 出 现 ， 还 是 值得 称道 的 ， 因 为 ， 这 意味 着 Oracle RAC 这 样 的 大 型 数 
据 库 系统 离 小 型 机 和 物理 机 的 距离 越 来 越 远 了 ， 而 在 x86 平 台 上 最 让 人 不 满 的 问题 是 高 /OPS、 高 吞吐 、 高 带宽 的 业务 不 适合 跑 虚 
拟 机 的 问题 ， 但 这 些 问 题 已 经 解决 了 。 在 Oracle 这 样 的 大 型 数据 库 业 务 中 ，migrate 到 vsphere 虚 拟 化 平台 再 也 不 用 有 顾虑 了 。 


至 于 ROBO 之 类 的 功能 ， 束 目前 来 吕 ， 意 义 不 大 。 


Virtual SAN 6.1 与 6.0 在 基础 功能 上 其 实 变化 不 大 大 ，6.1 版 本 仪 修复 了 一 些 6.0 中 的 小 问题 。 


12.4 Virtual SAN 结 构 针 对 Witness 的 变化 


目前 Virtual SAN 的 Witness 节 点 都 是 自动 生成 ， 然 后 存放 在 Cluster 本 地 。 但 是 Virtual SAN 6.1 中 增加 了 一 个 专用 的 
Witness Node Virtual Appliance。 通 过 下 载 、 部 署 这 个 Witness Node Virtual Appliance， 可 以 轻松 实现 跨越 3 层 网 络 的 
VSAN Cluster PARE. 3x T Witness Node 可 以 部 署 到 公 网 环境 ， 而 最 多 只 需要 2 个 数据 节点 即 可 。 


图 12-1 展 示 了 这 种 结构 。 


当然 了 ， 传 统 的 2 层 网 络 依 然 可 以 实现 ， 结 构图 如 图 12-2 所 示 。 
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12.5 Virtual SAN 6.1 高 级 参数 


在 VSAN 节 点 主机 的 高 级 参数 中 ， 最 具 代 表 性 的 为 设 定 默认 的 Maintenance Mode 时 的 DecommissionMode， 前 面 介绍 
3 种 模式 ， 但 是 Virtual SAN 6.0 以 前 的 版 本 不 支持 设 定 默认 值 。Virtual SAN 6.1 的 高 级 选项 支持 这 个 功能 ， 如 图 12-3 所 示 。 
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LSOM VSANDeviceMonlitoring 

Misc. vsanWirinessvirtualàppliance 
aysiog.loggers vsanSoapserver.rotate 
Byslog loggers vsanSoapServer.siza 
VSAN ClomMaxComponentSizeGB 
VSAM ClomRepairDelay 

VSAN DefaullHostDecommissionModa 
VSAN Do mBriefloTraces =F 
VSAN DomFullloTraces 

VSAN DomLongOpTraceMS 

VSAN DomLongOpUrgentTraceMS 
V&AN TraceEnableCmmüds 

VSAM TracaEnableDom 

VSAM TraceEnableDomlo 

VSAM TraceEnableLsom 

VSAN TraceEnablePlog 


这 些 高 级 参数 的 功能 如 下 : 


: LSOM.VSANDeviceMonitoring: 用 于 设置 是 


: Misc.vsanWitnessVirtualAppliance: 用 于 是 否 设 


: Syslog.loggets.vsanSoapServet.size: 


: VSAN.ClomMaxCompohentSizeGB : 


: VSAN.DefaultHostDecommissionMode: 


: VSAN.DomLongOpUrgentTraceMS : 


: VSAN.TraceEnableCmmds : 


: VSAN.TraceEnableDomio: 


- Syslog.loggets.vsanSoapSetver.rotate: 指针 对 日 志保 存 的 


: VSAN.DomLongOpTtaceMS: 以 毫秒 级 为 单位 跟踪 运行 


- VSAN.TraceEnableDom: 激活 跟踪 VSAN DOM 组 件 。 


设置 日 志文 件 的 大 小 ， 


以 毫秒 为 单位 在 设 定 参 数 


激活 跟踪 VSAN DOMIO 组 件 。 


12-3 


否 运 行 VSAN Device lä 
定 将 Witness 功 能 跑 到 Virtual Appliance。 
份 数 深 动 更 新 频率 。 

默认 为 1024KB。 
设置 新 组 件 存 放 时 的 最 大 Size， 
: VSAN.ClomRepairDelay: 设置 在 发 生 absent 时 ，absent 组 件 的 默认 恢 


设 定 默认 主机 维护 时 ， 


ensuteAccessibility。 
- VSAN.DomBriefloTraces: 对 debugsging 激 活 peftIO DOM 概 要 跟踪 。 
: VSAN.DomFullloTraces: 对 debugging 激 活 pet-IO DOM 完 整 跟踪 。 


过 程 中 发 生 的 信息 双 


激活 跟踪 VSAN CMMDS 和 CMMDSResolver 组 件 。 


默认 为 255GB。 


《时间 内 跟踪 


a vean 
[ isem plionr 


Whetner tà run VSAN device monitoring 


Indicates a VBAM witness host running ... 


Number of rotated logs to keap for this | 
Bet size of logs before rotation for this I. 
Maximum component size used for new 
Minutes to wait for absent components t 
Default host decommission made for a 
Enables a brief set of per-IO DOM trace. 
Enables the full set of per-IO DOM trace 
Trace ops that take more than the speci 
Urgent trace ops that take more than th. 
Enables tracing for VEAN CMMDS and, 
Enables tracina for VSAN DOM compan 
Enables tracing for VSAN DOMIO comp 
Enables tracing for VSAN LESOM compo 


Enabies tracing for V8SAN PLOG compa 


复 时 间 间 隔 ， 轩 认为 60 分 钟 。 


对 存储 本 地 磁盘 数据 的 维护 处 理 方式 ， 默 认为 


默认 为 1000ms。 


过 程 中 的 突 发 事件 ， 默 认为 10000ms。 





VSANTtaceEnableLsom: 激活 跟踪 VSAN LSOM 组 件 。 
VSAN.TraceEnablePlog: 激活 跟踪 VSAN PLOG 组 件 。 


VSAN.TraceEnableRdt: 激活 跟踪 VSAN RDT 组 件 。 


VSAN.TraceEnableSsdLog: 激活 跟踪 VSAN SSDLOG 组 件 。 
VSAN.TraceEnableVirsto: 激活 跟踪 VSAN Virsto 组 件 。 
VSAN.TraceEnableVsanSparse: 激活 跟踪 VsanSpatsse FDS 操 作 。 


VSAN.TranceEnableVsanSparseIO :. 激活 跟踪 VsanSparse 1/ 〇 操作 。 


VSAN.TraceEnableVsanSparseVerbose: 激活 跟踪 VsanSparse I/O 〇 操作 详细 信息 。 
的 ， 默 认为 1。 


VSAN.VsanSpatseCacheOverEvict: VsanSpatseCacheThteshold 的 百分比 数据 超出 部 分 处 理 ， 默 认 值 为 5。 
VSAN.VsanSparseCacheThreshold: 设置 VsanSpatse 的 最 大 Cache 值 ， 黑 认为 65534。 
VSAN.VsanSpatseEnabled: 激活 自动 创建 vsanSpatse， 替 换 掉 了 以 前 的 vmfsSpatse tedologs， 这 是 6.0 以 上 版 本 的 VSAN 才 支持 


: VSAN.VsanSparseHeapSize: VsanSpatse 快 照 整 合 buffers 的 Heap size 最 大 值 ， 默 认为 65536 ， 单 位 是 KB。 


VSAN.VsanSpatfseMaxExtentsPtrefetch: 在 诊断 时 抓 取 的 数据 最 大 值 范围 ， 默 认为 64。 
: VSAN.VsanSparseParallelLookup: 每 一 个 Layet 并 行 执行 的 写 入 请 求 数 据 范 围 ， 默 认为 1。 


: VSAN.VsanSparseSpeculativePretetch: 执行 诊断 请 求 的 范围 ， 以 byte 为 单位 ， 默 认为 4194303。 


12.6 Virtual SAN Beta 未 来 版 预期 


将 会 增加 两 个 用 于 节省 空间 的 新 功能 


: Erasure Coding; 


: Deduplication, 


利器 。 不 过 ， 随 着 VSAN Beta 版 本 内 测 新 功能 的 出 现 ， 这 个 问题 也 即将 成 为 历史 。 根 据 可 信 消 息 ， 正 在 测试 的 VSAN Beta 版 本 


Virtual SAN 目 前 最 为 人 诉 病 的 残 是 对 空间 的 大 幅度 当 费 ， 超 过 50% 的 空间 滔 费 比 ， 这 对 很 多 人 来 说 ， 是 打击 Virtual SAN 的 
而 言 ， 可 以 节省 80% 的 空间 。 


所 以 ， 这 两 个 扩 林 还 是 很 值得 期 竺 的 。 


Erasure Coding 可 以 通过 构建 RAID5/6 的 方式 来 节省 VM Objects 的 replicas 空 间 ， 据 说 相对 于 Virtual SAN 6.1 以 前 的 版 本 


Deduplication 技 术 可 以 删除 重复 数据 ， 它 通过 在 Persistent Storage 里 移 除 掉 重 复数 据 ， 也 可 以 在 很 大 程度 上 节省 空 


~ 
`> 


GIR 


12.7 ”本 童 小 结 


本 章 是 在 Vittual SAN 6.1 出 来 之 后 ， 新 增加 的 章 。 本章 不 是 为 了 让 读者 系统 学 习 Virtual SAN 6.1， 而 是 让 大 家 更 好 地 明白 
Virtual SAN 6.1 到 底 多 了 什么 新 功能 。 


笔者 不 打算 用 这 样 的 内 容 去 忽 修 大家。 事实 上 ， 虚 拟人 和 笔者 都 承诺 随 着 新 版 本 的 发 布 、 新 功能 的 增加 ， 会 根据 实际 需要 更 
新 本 书 ， 出 版 第 2 版 、 第 3 版 …… 第 N 版 。 所 以 ， 大 家 不 用 担心 后 续 新 知识 的 更 新 问题 。 


本 和 章 的 主要 内 容 如 下 : 

新 功能 概述 ; 

重点 新 功能 的 用 途 ; 

: 结构 变化 带 来 的 组 件 变化 ; 

` 高 级 参数 中 的 功能 和 描述 ; 

未 来 版 本 中 比较 有 现实 意义 的 功能 。 


大 体 上 就 是 些 了 ， 更 多 未 尽 事宜 ， 也 只 能 是 下 一 版 再 见 了 。 


结束 语 


首先 ， 需 要 强调 的 是 : 本 书 最 初 决定 出 版 的 最 重要 的 目的 之 一 是 帮助 虚拟 人 “VMware Virtual SAN 入 门 到 精通 ”在线 培 训 课 
程 的 学 员 们 更 好 地 学 习 、 掌 握 VMware 公 司 存 储 虚 拟 化 产品 Virtual SAN 的 构建 与 使 用 ， 请 各 位 知悉 与 支持 。 


这 是 笔者 第 一 次 以 正式 出 版 物 的 形式 编写 技术 资料 ， 可 能 存在 很 多 不 足 的 地 方 ， 但 是 诚意 十 足 。 


本 书 的 诞生 也 是 命 途 多 外 ， 本 来 计划 在 2015 年 春节 后 上 市 ， 结 果 V Mwatre 在 那 时 发 布 了 vSphere 6.0， 笔 者 以 为 简单 地 修改 就 可 
以 将 Vittual SAN 5.5 过 渡 到 6.0， 实 际 上 ， 等 笔者 尝试 修改 时 才 发 现 这 个 工作 量 有 多 大 。 所 以 ，6.0 版 本 的 本 书 为 笔者 全 部 重新 编写 
后 的 产物 。 不 过 ， 更 为 翡 催 的 是 ， 和 貌似 用 不 了 多 久 又 要 继续 更 新 了 ， 还 好 6.0 到 6.1 的 变动 ， 比 5.5 到 6.0 的 变动 小 多 了 。 


本 书 从 v0.1 到 v2.7 中 间 经 历 了 数 十 个 小 版 本 的 迭代， 也 许 ， 本 书 中 依然 存在 一 些 笔 者 没 能 找到 的 错别字 ， 但 是 我 尽力 了 。 如 
读者 们 依然 发 现 这 样 的 情况 ， 烦 请 您 及 时 通过 本 书 所 留 的 联系 方式 告知 我 们 ， 提 前 感谢 您 的 宽容 与 支持 ! 未 来 ， 随 着 VMwate 公 
司 VSAN 产 品 新 版 本 的 发 布 ， 笔 者 也 会 尽 可 能 随 之 更 新 本 书 的 版 本 ， 以 帮助 大 家 保持 知识 的 先进 性 。 也 就 是 说 : 本 书 将 会 有 第 2 
版 、 第 3 版 、 第 NN 版 …… 


在 本 书 编写 过 程 中 ， 笔 者 吃 尽 了 拼音 的 苦头 。 一 人 遍 又 一 遍地 勘误 ， 看 得 笔者 眼睛 都 花 了 。 阐 述 清楚 技术 对 于 笔者 来 说 并 不 
难 ， 最 大 的 难题 在 于 如 何以 体系 化 、 结 构 化 、 无 错别字 的 方式 益 述 清楚 完整 的 技术 细节 。 


附录 SAnS 


(1) VMware Virtual SAN Ready Nodes 查 询 资 料 : 
: VMware Virtual SAN Ready Nodes. 


` J£ ZX Virtual SAN VMware Compatibility Guide 3 76) Wo BEhttp: / /www.vmwatre.com/tesoutces/compatibility/search.php? 


deviceCategory- VSAN o 
(2) Virtual SAN 环 境 配 置 快速 参考 指南 https://VSANtco.vmware.com/VSAN/SI/SIEV。 
(3) 虚拟 人 VSAN 技 术 专 区 http://bbs.vmanager.cn/forum-176-1.html。 
(4) vSphere Upegrade 官 方 文档 : 


VCenter Server 升 级 官方 文档 http://pubs.vmware.com/vsphere-60/topic/com.vmware.ICbase/PDF/vsphere-esxi-vcenter-servert-60- 


upgtade-euide.pdf。 


: ESXi Host 升 级 官方 文档 http://pubs.vmware.com/vsphere-60/topic/com.vmwate.ICbase/PDF/vsphere-esxi-vcenter-server-60- 


upgtade-euide.pdf。 


(5) RVC 详 细 使 用 文档 http://www.vmware.com/files/pdf/products/VSAN/VMware-Ruby-vSphere-Console-Command-Reference- 


For-Virtual-SAN.pdf. 


